우주탐사에 사용되던 데이터 전송기술, 이젠 빅데이터 저장에 활용

실시간
뉴스

하드웨어

우주탐사에 사용되던 데이터 전송기술, 이젠 빅데이터 저장에 활용

디지털데일리 발행일 2012-07-06 08:57:02

백지영 기자

URL복사

[인터뷰] 자네 스토우 리 퀀텀 빅데이터 사업부문 총괄 수석 부사장

- [인터뷰] 자네 스토우 리 퀀텀 빅데이터 사업부문 총괄 수석 부사장

[디지털데일리 백지영기자] 우주탐사 등에서 활용되던 순방향오류정정기술(Forward Error Correction, 이하 FEC)이 빅데이터 저장 기술에 적용될 전망이다.

5일 자네 스토우 리 퀀텀 빅데이터 사업부문 총괄 수석 부사장<사진>은 <디지털데일리>와의 인터뷰를 통해 “오래 전부터 우주탐사, 통신분야 등에서 사용되던 기술을 빅데이터 저장에 적용한 솔루션을 내년 상반기 경 출시할 계획”이라고 밝혔다.

순방향오류정정기술(FEC)은 주로 통신이나 우주탐사 등의 분야에서 데이터를 전송, 관리하는데 사용되는 기술이다. 우주선과 우주캡슐 간의 데이터 송수신, 휴대폰 간의 데이터 전송에 이 기술이 활용되고 있다.

이 기술은 데이터 자체를 저장하는 것이 아니라 수학공식 등을 이용해 데이터를 저장하는 방식이다. 즉, 관련 데이터를 도출할 수 있는 수많은 수식을 저장한 후, 데이터를 복원해야 하는 시점에서 수식을 풀어나가면 복구될 수 있도록 하는 원리다.

모든 데이터를 저장하지 않고서도 복구가 가능하며 이를 통해 디스크 사용량도 줄일 수 있다.

리 부사장은 “데이터가 폭증하고 오랜 기간동안 저장(아카이빙)해야 할 데이터양이 늘어나면서 기존의 레이드 방식의 디스크로는 이를 감당할 수 없다는 사실을 깨달았다”며 “이에 따라 FEC를 활용해 내구성과 가용성이 뛰어나 데이터를 장기간 보호할 수 있는 솔루션을 개발하게 됐다”고 배경을 설명했다.

실제 그에 따르면 콘텐츠의 장기 보관과 확장성이 중요해지면서 이를 지원하는 아키텍처를 고객이 늘어나고 있다. 오늘날에는 내구성 등을 이유로 대부분 테이프 미디어를 통해 아카이빙을 하고 있지만, 최근 가용성 향상을 위해 디스크에서 아카이빙을 하고 싶다는 요청이 늘고 있다.

그러나 일반적인 디스크로는 이러한 대용량 아카이빙이 적합하지 않다고 것이 리 부사장의 설명이다. 데이터가 커질수록 비트에러가 나타날 확률이 높다는 것이 이유다.

현재 많은 기업들이 대용량 데이터를 저장하기 위해 레이드 어레이 미러링 혹은 최근 들어 구글이나 페이스북과 같이 여러 개의 데이터 카피를 중복 저장하는 방식을 취하고 있다.

그러나 미러링 방식은 데이터가 많아질수록 성능이 저하되며, 데이터 손실 위험이 높다. 구글, 처럼 파일시스템과 맵리듀스 등을 이용한 방식 역시 관리 비용 향상과 데이터 효율성이 떨어져 일반 기업은 감당하기가 어렵다는 설명. 그는 “특히 구글과 같은 기업의 경우, 세계해서 가장 저렴한 비용으로 디스크를 구입할 수 있기 때문에 일반기업과는 상황이 다르다”고 지적했다.

이에 따라 FEC 기술을 활용해 내년 상반기 퀀텀이 출시할 빅데이터용 아카이빙 솔루션은 인텔의 저전력 프로세서인 아톰을 탑재, 500테라바이트(TB) 이상의 데이터부터 경제적인 비용으로 저장이 가능하고 무제한으로 확장이 가능하도록 한다는 설명이다.

또한 클라우드 환경을 위해 지리적으로 분산된 환경에서 운영할 수 있는 것은 물론, 멀티 테넌시가 가능하도록 파티셔닝 기능도 지원한다.

기존 레이드6 미러링 기술과 비교했을 때도 가용성과 효율성이 훨씬 높다. 퀀텀을 내년 상반기부터 이를 총 3가지 버전으로 출시할 예정이다. 첫 번째는 이를 기존 퀀텀의 아카이빙 소프트웨인 스토어넥스트와 통합, 기존에 갖고 있던 기능을 활용해 보다 효과적인 저장이 가능하도록 하는 것이다.

또한 높은 성능이 필요 없는 고객을 위해 NAS 환경에서 제공되는 저성능 버전도 제공한다. 이밖에 파트너사와 협력해 클라우드 서비스 형태로도 제공할 계획이다.

리 부사장은 이 솔루션이 미디어 엔터테인먼트와 생명공학, 자원탐사 등의 부문에 활용될 것으로 내다봤다. 특히 그는 유전자 염기서열 등 생명공학 부문에서의 대용량 데이터 저장에 적합할 것이라는 설명이다.

그는 “생명공학 분야는 단순히 인간의 건강 뿐만 아니라 최근 농업, 법의학, 임상 등의 분야로 활용 범위가 확대되고 있다”며 “사람이 사망 이후에도 관련 데이터를 계속 저장해야 할 정도로 이에 대한 아카이빙에 대한 수요가 증가하면서 데이터를 보다 효율적이면서도 저렴하게 저장하는 것이 중요해지고 있다”고 강조했다.

<백지영 기자>jyp@ddaily.co.kr