오래된 사진은 플래시에?…상식 깨는 페이스북의 ‘콜드스토리지’

실시간
뉴스

하드웨어

오래된 사진은 플래시에?…상식 깨는 페이스북의 ‘콜드스토리지’

디지털데일리 발행일 2013-10-18 09:12:02

백지영 기자

URL복사

[디지털데일리 백지영기자] 일반적으로 엔터프라이즈 데이터센터에서 플래시 메모리나 SSD의 역할은 가장 최신의 데이터를 빠르게 접속하기 위해서다. 여전히 하드디스크와 10배 가량의 가격 차이가 나기 때문에 중요하고 자주 접속되는 데이터 저장을 위해 사용된다.

그런데 세계 최대 소셜미디어서비스업체 페이스북이 이러한 상식을 깨는 행보를 보이고 있다. 사용자의 조회 빈도는 적지만, 검색시 빠르게 노출시켜야 하는 데이터를 플래시에 저장하는 일명 ‘콜스스토리지’를 구축했기 때문.

일반적으로 자주 사용되는 데이터를 ‘핫데이터’, 덜 사용되는 데이터를 ‘콜드데이터’로 부르는데, 페이스북의 ‘콜드스토리지’는 이러한 의미로 사용된 것이다.

최근 페이스북은 새로운 ‘콜드스토리지’의 본격적인 운영에 들어갔다. 지난 2005년 10월 페이스북 서비스가 런칭된 이후, 전세계에서 수십억장의 사진이 사용자들에 의해 데이터센터에 의해 저장됐으나, 이중 대부분은 수개월 혹은 수년동안 한번도 접속된 적이 없는 사진들이다. 그렇다고 하더라도 사용자들이 언제 찾을지 모르니 어딘가에 저장은 해 놓아야 한다. 실제 페이스북 사용자들은 매일 3억 5000만장의 사진을 매일 업로드하고 있다.

이 때문에 페이스북은 이러한 오래된 사진이나 데이터들을 자주 사용되는 ‘핫데이터’와 분리시켜 별도로 저장해 놓는 ‘콜드스토리지’를 자사의 프린빌데이터센터에 구축했다.

현재까지 구축된 콜드스토리지의 거의 대부분은 하드디스크 기반으로 구축돼 있다. 플래시의 가격이 여전히 하드디스크와 차이가 많이 나기 때문이다. 현재 콜드스토리지에 사용되는 2U 시스템의 별도의 장비는 120테라바이트(TB)까지 탑재가 가능하며 한개의 랙에 최대 2PB의 데이터를 저장할 수 있도록 설계됐다.

페이스북의 새로운 콜드스토리지 시스템은 지난주부터 본격적으로 운영하기 시작했으며 이미 9페타바이트(PB)의 데이터가 저장됐다. 일반적으로 페이스북에 업로드되는 사진은 2~10메가바이트(MB) 크기다.

페이스북은 현재 운영 중인 콜드스토리지의 용량이 가득 차게 되면, 16만 평방미터 규모의 별도의 건물을 운영할 방침이다. 이는 수천 PB의 데이터를 저장할 수 있는 규모다.

한편 콜드스토리지는 사용자들이 업로드한 사진이나 비디오 외에도 로그나 통계 데이터를 저장해 분석하는 용도로도 활용된다.

<백지영 기자>jyp@ddaily.co.kr