‘페이스북’ 데이터센터는 어떤 모습일까 [상]

실시간
뉴스

하드웨어

‘페이스북’ 데이터센터는 어떤 모습일까 [상]

디지털데일리 발행일 2011-01-18 15:29:50

백지영 기자

URL복사

[IT 전문 블로그 미디어=딜라이트닷넷]

2004년 2월, 하버드대 학생이던 마크 주커버그가 자신의 기숙사에서 한대의 서버를 놓고 시작했던 ‘페이스북’이 전세계를 들썩이게 하고 있습니다.

초창기 ‘더 페이스북’이라는 이름으로 시작한 것으로 알려진 이 소셜네트워크서비스(SNS)는 지난해엔 구글을 누르고 방문객이 가장 많았던 웹사이트로 등극했습니다. 페이스북은 이제 인류의 일상생활을 지배하는 막강 미디어로 떠오르고 있는 것이지요.

현재 페이스북은 전세계 약 6억 명에 육박하는 이용자가 사용하고 있는데, 이 수억 명의 사람들이 자신들의 ‘페북’ 친구들과 담벼락을 통해 이야기를 나누고, 사진을 공유하기 위해서는 바로 서버와 네트워크 등 인프라스트럭처의 지원이 절대적이라고 할 수 있습니다.

포춘지의 테크놀로지 전문기자였던 데이비드 커크패트릭이 쓴 ‘페이스북 이펙트(facebook effect)’라는 책을 보면, 주커버그가 페이스북을 운영하는 과정에서 가장 신경썼던 점 중 하나가 바로 원활한 서비스를 위한 인프라 운영이었던 것으로 알려져 있는데요.

(참고로 ‘페이스북 이펙트’는 커트패트릭 기자가 마크 주커버그는 물론 페이스북 대내외 주요 인물들과 나눈 실제 인터뷰와 증언들을 바탕으로 한 페이스북의 비하인드 스토리를 담고 있습니다.)

아무리 좋은 서비스라고 하더라도, 이러한 인프라 지원이 원활하지 않아 서비스가 느려지고 장애가 잦아지면서 수많은 사용자들을 잃게 되는 경우가 많지요.

실제로 페이스북 이전에 미국에서 생겨났던 SNS들 중에는 인프라 지원이 원활치 않아 결국 서비스가 흐지부지된 경우가 많은 것으로 알려집니다.

일반인들에게 잘 와 닿지는 않겠지만, 이 수억 명에 달하는 어마어마한 사람들이 자신의 페북 친구들과 담벼락을 통해 이야기를 나누고 사진을 공유할 수 있는 것은 바로 이러한 대량의 트래픽과 용량을 지원하는 데이터센터로 인해 가능한 것입니다.

▲페이스북 데이터센터 내부

그렇다면 데이터센터는 무엇일까요. (위 사진처럼) 서버와 네트워크, 스토리지 등 서비스 운영에 필요한 IT 장비들을 한곳에 모아놓은 장소라고 할 수 있겠습니다.

공장 같이 큰 공간에 페이스북과 같은 인터넷 서비스를 원활하게 하기 위해서 시꺼멓게 생긴 길쭉한 장비들이 쭉 늘어뜨려져 있고, 이것들을 연결해 놓은 수많은 케이블들이 가득 차 있는 모습을 생각하시면 될 것 같습니다.

페이스북이 운영하는 미국 내 약 10여개 데이터센터에 있는 수만 대의 웹서버와 스토리지들은 광채널 케이블을 통해 전세계 사용자들을 연결시켜주고 있는 셈이지요.

여러분들이 페이스북을 통해 친구들과 정보를 공유할 때마다 이 데이터센터 내 서버들은 이러한 데이터를 받아서 이를 다시 ‘페친’들에게 뿌려주는 역할을 하고 있는 것입니다.

그렇다면 대체 6억명의 사람들이 이용하고 있는 페이스북의 데이터센터는 어떤 모습인지 상세히 들여다보도록 하겠습니다.

알려진 바에 따르면, 페이스북을 이용하는 사용자의 70% 이상이 미국 외 지역에 있음에도 불구하고, 페이스북의 데이터센터는 모두 미국 내에 존재하고 있습니다.

아마도 서비스를 계속해서 확장되게 되면, 이러한 데이터센터들이 해외에 생길 가능성도 있습니다만 현재까지는 미국에서만 운영하고 있는 것으로 알려져 있습니다.

현재 페이스북은 적어도 미국 내 약 9~10개의 데이터센터를 임대해서 사용하고 있으며, 지난해부터는 오레건주 프린빌과 노스캐롤라이나주 포레스터시티에 직접 데이터센터를 짓고 있는 것으로 전해집니다.

▲오레건주 프린스빌에 위치한 페이스북 데이터센터

건립 중인 데이터센터들은 전력 및 냉각에 최적화돼 있다고 하는데요.

실제 데이터센터에서 소비되는 전력의 절반 이상이 IT 기기에 사용되는 것보다는 이러한 기기들에서 발생하는 열을 냉각시키는데 사용되고 있기 때문에, 현재 대부분의 데이터센터들은 냉각에 가장 많은 신경을 쓰고 있는 상황입니다.

페이스북은 2010년 6월 기준으로 약 6만 대 정도의 서버를 운영하고 있는데(물론 현재에도 계속해서 추가되고 있겠지요), 리눅스 기반의 x86 서버와 같은 저렴한 범용 하드웨어에 오픈소스 소프트웨어를 올려서 인프라를 구성하고 있다고 합니다.

이는 구글이나 야후 등 다른 인터넷 서비스 기업들의 인프라와 마찬가지로, 트래픽이 늘어날 때마다 저렴한 비용으로 쉽게 확장 가능한 구조로 돼 있는데요.

▲페이스북의 서버 증가 추이

범용 하드웨어와 오픈소스 소프트웨어의 구조는 현재 클라우드 컴퓨팅 환경에 가장 적절한 인프라 구성 조합으로 각광받고 있기도 합니다. 이는 엄청난 양의 데이터를 효율적으로 관리하고 저장하기 위한 방안으로 클라우드 컴퓨팅이 뜨고 있다는 점과 일맥상통합니다.

어찌됐든 페이스북의 경우, 단기간에 엄청난 속도로 사용자들이 늘어났기 때문에 적절한 시기에 서버를 늘려나가는 것이 매우 중요했는데, 페이스북에서 최고기술책임자(CTO)를 지냈던 아담 디안젤로는 ‘페이스북 이펙트’라는 책을 통해 이렇게 말하고 있습니다.

(참고로 아담 디안젤로는 마크 주커버그와 고등학교 3학년 시절 시냅스라는 음악 공유 소프트웨어를 함께 만든 사람으로, 페이스북을 퇴사한 이후에도 주커버그와 여전히 막역한 사이라고 하네요.)

“데이터베이스에 과부하게 걸려 고치고 나면, 또 이메일 송신에 문제가 생겼지요. 이를 해결할 때쯤에는 사이트가 한계에 다다랐다는 느낌이 들고 결국 다음 주에 문제가 터져 사이트 용량을 늘려가야 했어요. 산타클라라에 있는 데이터센터에 자주 가서 서버를 늘렸는데, 2005년 연말까지 페이스북이 서버와 네트워크 기기에 투자한 금액은 440만 달러(한화로 약 50억원)에 달합니다. 이윽고 페이스북이 사진공유서비스 시작하게 되면서, 페이스북은 향후 6개월 동안 사용하리라 계획했던 저장소(스토리지)를 6주 만에 소진하기에 이르렀습니다. 당시 데이터센터 소프트웨어 전문가인 제프 로스차일드의 경우, 용량 초과로 서버가 마비되는 등의 비상사태가 생기지 않도록 밤을 새면서 일하는 경우가 다반사였지요. 회사 전 직원이 데이터센터 상황을 파악하고 새 서버를 설치하는데 동원되기도 했었습니다.” <계속>

[백지영기자 블로그=데이터센터 트랜스포머]