“하둡 배포판 제각각…90년대 유닉스 될까 우려”

실시간
뉴스

솔루션

“하둡 배포판 제각각…90년대 유닉스 될까 우려”

디지털데일리 발행일 2013-09-16 06:44:02

심재석 기자

URL복사

$\"사용자$

“많은 하둡 배포판 업체들이 아파치 하둡 위에 자신들의 독자적 기술을 얹어 판매하고 있다. 이것들은 오픈소스라고 할 지라도 표준이 아닌 각 업체의 독자 기술이다. 1990년대 유닉스처럼 업체마다 호환되지 않게 될까 우려된다”

데이터웨어하우스 분야의 전문가인 마틴 윌콕스 테라데이타 플랫폼 및 솔루션 부문 총괄 이사의 지적이다. 그는 지난 13일 <디지털데일리>와의 인터뷰에서 “여러 기업들의 독자적인 하둡 버전이 하둡의 가치를 훼손하고 있다”며 이같이 비판했다.

현재 하둡의 표준은 아파치재단에서 개발 및 관리하는 버전이다. 그러나 IT업체들은 이 아파치 하둡을 기반으로 부가 기능을 추가해 자신만의 하둡을 만들고 있다. 클라우데라, 맵R, EMC, IBM, 인텔 등 다양한 IT 업체들이 독자적인 하둡 배포판을 보유하고 있다.

윌콕스 이사는 “1980~1990년대 유닉스도 처음에는 표준이 있었지만, 각 업체별로 수십 개의 호환되지 않는 유닉스가 난무하게 됐다”면서 “의미있는 표준화가 이뤄진 리눅스가 지배적으로 되기까지 많은 시간이 걸렸다”고 말했다.

윌콕스 이사는 테라데이타가 최근 하둡 전문업체 호튼웍스와의 전략적 제휴를 맺은 이유도 이같은 차원에서 설명했다. 그는 “호튼웍스는 아파치재단의 오픈소스 하둡을 100% 지지하고 있다”면서 “호튼웍스와 테라데이타는 하둡에 대해 가진 비전이나 목표를 공유하고 있다”고 강조했다.

호튼웍스는 지난 2011년 하둡을 처음 개발한 야후의 하둡 프로젝트 조직이 분사해 설립된 회사다. 아파치 하둡을 기반으로 구축, 유지보수, 교육 등 다양한 서비스 사업을 펼친다.

윌콕스 이사는 최근 유행처럼 번지고 있는 기술인 ‘SQL 온 하둡(SQL on Hadoop)에도 부정적 의견을 피력했다.

그는 “하둡 상에 SQL엔진을 올리는 시도는 고성능의 병렬 SQL엔진을 구축하는 것을 과소평가 하고 있지 않나 생각한다”면서 “저희는 하둡과 SQL엔진의 고성능 인테그레이션을 시도하고 있다”고 말했다.

이같은 평가에 기반해 빅데이터에 접근하는 테라데이타 전략은 세 개의 축으로 구성돼 있다. 대용량 정형 데이터 분석을 위한 플랫폼인 ‘테라데이타 어플라이언스’, 비정형 데이터 분석에 특화된 플랫폼 ‘애스터’, 호튼웍스와의 제휴를 통한 하둡으로 기업이 필요로 하는 빅데이터 관련 종합 솔루션을 제공하는 것이다. 테라데이터는 이를 통합데이터아키텍처(UDA)라고 부른다.

이 중 테라데이타 애스터는 빅데이터 분석을 위해 인수한 솔루션이다. 애스터데이터는 SQL을 기반으로 빅데이터를 분석할 수 있는 SQL-H라는 기술을 제공하는 것이 특징이다. 클라우데라나 그루터 같은 하둡 전문기업들은 하둡 상에 SQL엔진을 올리는 방식을 취하지만, 테라데이터는 이를 애스터에서 처리하는 것이다. 애스터는 하둡파일시스템과 연결할 수 있어 하둡에 저장된 데이터도 마치 애스터에 저장된 것처럼 분석할 수 있다고 윌콕스 이사는 강조했다.

윌콕스 이사는 “테라데이터 고객 기업 중에는 60페타바이트 규모의 데이터를 분석하는 기업도 있다”면서 “이를 위해 테라데이터는 34년이 걸렸는데,다른 기업이 이를 쉽게 따라오기는 어려울 것”이라고 말했다.

<심재석 기자>sjs@ddaily.co.kr