페이스북, 대용량 DW 엔진 오픈소스로 공개

실시간
뉴스

소프트웨어

페이스북, 대용량 DW 엔진 오픈소스로 공개

디지털데일리 발행일 2013-11-07 15:23:29

백지영 기자

URL복사

[디지터데일리 백지영기자] 페이스북이 마침내 실시간 빅데이터 분석 처리 엔진인 ‘프레스토’를 오픈소스로 공개했다. 이에 따라 기존 데이터웨어하우스(DW) 업체는 물론 클라우데라. 호튼웍스, 피보탈 등에도 적지 않은 영향을 줄 전망이다.

6일(현지시간) 페이스북은 아파치 2.0 라이선스 하에 ‘프레스토’를 오픈소스로 공개한다고 공식 밝혔다. 앞서 지난 6월 페이스북은 한 개발자 컨퍼런스에서 이를 발표한 바 있다. 페이스북에 따르면 하이브/맵리듀스보다 10배 빠른 성능을 낸다는 설명이다.

쉽게 설명하면 ‘프레스토’는 실시간 데이터 처리에 약점을 가졌던 기존 하둡의 한계를 극복하고, 빠르게 의미있는 데이터를 뽑아내는 ‘SQL 온 하둡(SQL on hadoop)’의 일종이다.

현재 페이스북은 매달 11억 9000억명의 사용자가 저장하는 300페타바이트(PB) 이상의 데이터를 처리하기 위해 프레스토를 사용 중이다. 이를 통해 매일 1000명의 페이스북 직원이 최소 1PB 용량에 달하는 3만 쿼리(질의)를 처리하고 있다.

당초 프레스토는 데이터의 응답 속도를 높이기 위한 용도로 설계됐으며, 페이스북은 이를 지난해 가을부터 개발해 왔다. 사실 이를 개발하기 이전까지 페이스북은 하이브를 가장 잘 활용하는 회사로 알려졌지만 이는 맵리듀스를 거쳐야 했기 때문에 성능 면에서 떨어진다는 평가를 받아왔다.

그러나 프레스토를 활용하게 되면 대부분의 질의들은 수초에서 수분 내에 답을 구할 수 있으며, 메모리에서 구동되기 때문에 CPU를 적게 스고 응답속도(레이턴시)를 높일 수 있게 된다.
.
이미 에어비엔비(Airbnb) 등에서 이를 사용하고 있다. 이 회사 데이터 과학자인 크리스 크티에레즈는 “프레스트는 놀랍다(Pesto is amazing)”며 “하둡파일시스템(HDFS)에서 바로 읽어내기 때문에 기존 데이터웨어하우스(DW)에서의 ETL(데이터 추출, 변환, 적재) 작업 없이 바로 작동이 된다”고 말했다.

한편 페이스북의 이같은 움직임은 테라데이타와 EMC, 오라클, SAP 등 기존의 DW 업체에 위협이 될 뿐만 아니라 클라우데라(임팔라), 호튼웍스(스팅거), 피보탈(호크), 맵알(드릴), 그루터(타조) 등과도 경쟁관계에 놓일 전망이다.

<백지영 기자>jyp@ddaily.co.kr