과거의 스토리지는 잊어라…퀀텀, ‘액티브스케일’로 대용량 데이터 관리 해법 제시

실시간
뉴스

하드웨어

과거의 스토리지는 잊어라…퀀텀, ‘액티브스케일’로 대용량 데이터 관리 해법 제시

디지털데일리 발행일 2021-06-24 10:39:40

백지영

URL복사

[디지털데일리 백지영기자] 데이터는 폭발적으로 증가하고 있다. 인공지능(AI)과 머신러닝(ML) 활용으로 데이터 폭증은 더욱 가속화되고 있으며, 보관 기간도 더욱 늘어나는 추세다. 각 산업군에 따라 수년, 수십년 혹은 영구적으로 데이터 보관 정책을 가져가는 곳도 늘고 있다.

실제 한 시장조사기관에 따르면, 생성된지 보름이 지난 데이터의 85% 이상은 사용되지 않고 단순히 보관한다는 결과도 있다. 활용되지는 않지만 삭제하기에는 불안한 데이터를 비용 효율적으로 저장하는 방법은 없을까.

퀀텀코리아 유서명 차장은 23일 디지털데일리 DD튜브에서 진행된 웨비나에서 자사의 오브젝트 스토리지 ‘액티브스케일’을 데이터를 파격적인 비용 절감으로 활용할 수 있는 대안으로 제시했다.

지난 40년 이상 효율적인 데이터 저장 및 보호 솔루션을 제공 중인 퀀텀은 전세계 백업 및 아카이빙 시장의 리더다. 또, 20년 이상 제공해온 테이프 라이브러리와 중복제거기술 등을 통해 비디오 및 비정형 데이터 서비스를 제공하고 있으며 현재 전세계 3만개 이상 고객사의 44엑사바이트(EB) 이상을 저장 및 보관하고 있다.

유 차장은 “퀀텀은 현재 데이터 저장부터 분류, 관리, 보호, 재활용 등 데이터 라이프사이클을 위한 전반적인 제품 라인업 갖추고 있다”며 “특히 이번에 소개하는 ‘액티브스케일’은 유연한 대규모 확장성 및 최고의 데이터 내구성, 저장된 데이터에 대한 무결성 보장, 그리고 원하는 데이터를 원하는 타이밍에 즉시 사용할 수 있게 해주는 이레이저 코딩으로 기존 스토리지 아키텍처가 가지고 있는 문제점을 해결한다”고 강조했다.

액티브스케일은 지난해 2월 퀀텀이 웨스턴디지털로부터 인수한 오브젝트 스토리지 솔루션이다. 데이터를 저장하는 방식인 동적 데이터 배치(DDP)와 동적 데이터 복구(DDR)을 통해 높은 데이터 내구성을 보장하며 랜섬웨어 보호 및 데이터 불변성을 위한 오브젝트 잠금(lock) 기술을 제공하는 것이 특징이다.

유 차장은 “현재 대부분의 스토리지 제품에서 채택하고 있는 RAID 기술의 경우, 수 페타바이트(PB)에서 수십 PB 이상의 데이터 저장이 요구되는 비정형 데이터를 위한 저장소에서 사용되기에는 치명적인 단점들이 존재한다”며 “특히 디스크 장애 시 데이터 리빌드에 걸리는 시간이나 스페어(유휴) 디스크의 효율성, 용량 확장 시 데이터 리밸런스 유무 등을 고려하면 새로운 컨셉의 스토리지가 필요한 상황”이라고 지적했다.

예를 들어 데이터 리빌드 상황을 피해기 위해 기존 RAID 기술은 스페어 디스크라는 예비 디스크를 추가로 구성한다. 이때 예비 디스크는 성능이나 용량 어디에도 기여하지 않고 다만 장애가 발생하는 상황만을 대비해 장치 내에 존재해야 하는 디스크다. 실제 RAID 구성 시에 전체 디스크 용량의 7% 가량을 스페어 디스크로 구성해야 한다. 만약에 1PB의 용량을 스토리지로 구성할 경우, 약 70테라바이트(TB)의 디스크 용량을 예비로 구성해야 되기 때문에 리소스 효율성이 낮다.

최근 활용도가 높아지고 있는 퍼블릭 클라우드 서비스도 한계가 있다. ‘사용하는 만큼만 비용을 지불한다’라는 컨셉은 비용을 절감할 수 있을 것 같아 보이지만, 퍼블릭 클라우드의 비용은 저장된 데이터 용량을 보관하는 것 외에도 데이터 전송이나 조회 등의 비용이 추가로 들어간다.

유 차장은 “이 비용은 정상적인 운영 상태라면 아주 작은 부분만 차지하지만, 장애가 발생해 클라우드로부터 데이터를 복구해야 되는 상황이라면 이는 큰 비용으로 다가온다”며 “장애 발생으로 복구가 누적될수록 비용은 직접 장비를 운영하는 비용보다 커지게 된다”고 설명했다.

그는 “이에 따라 다시 직접 장비를 운영하는 프라이빗 클라우드 혹은 온프레미스로의 전환을 검토하는 사례가 많아 운영 방안으로 전환을 검토하고 있는 사례가 많아지는 추세”라며 “액티브스케일은 어떠한 경우에도 저장된 데이터에 대한 가용성을 제공하는 데이터 보호 및 복구 기능과 유연한 확장, 운영의 효율성을 높이는 기술을 제공한다”고 강조했다.

현재 액티브 스케일은 최대 1PB까지 확장 가능한 ▲P100E3, 27PB까지 확장 가능한 ▲P100, 무한대로 저장이 가능한 ▲X200 등 3개의 제품군으로 구성돼 있다. 모두 동일한 액티브스케일 운영체제(OS)를 사용하고 있다.

유 차장은 “DDP와 DDR은 액티브스케일에 저장되는 데이터 가용성과 내구성을 위한 핵심 기술”이라며 “DDP는 대용량의 오브젝트와 파일 처리, 확장에 특화돼 있는 스마트한 저장 기술로, 디스크는 기존 RAID와 같이 특정 그룹으로 묶여 있지 않고 각각의 저장소로서의 역할을 수행한다”고 말했다.

그는 “디스크의 용량, 가동률 등의 속성값을 기준으로 가중치를 부여한 뒤 가장 최적의 디스크를 선별한 뒤 저장함으로써 기존의 RAID 저장 방식의 한계점을 해결한다”고 설명했다.

또, DDR의 경우는 저장된 데이터의 무결성을 보장해 주는 기술이다. 그는 “기존의 RAID 기술에서 저장된 데이터의 장애를 알아채는 시점은 데이터에 대한 읽기(리드) 요청이 있을 때”라며 “데이터를 리드하는 시점에서 허용치 이상의 장애가 발생하게 되면 해당 디스크는 장애로 인식하고 복구 단계를 진행을 하게 돼 필연적으로 서비스 성능에 저하가 발생하게 된다”고 말했다.

그는 “DDR에선 장애에 대한 감지를 선제적으로 자동으로 백그라운드에서 진행하는 기술을 통해 성능 저하 없이 장애에 대한 복구를 사전에 진행할 수 있다”며 “앞서 설명한 DDP와의 조합으로 장애가 발생한 디스크의 모든 내용을 옮기기 위한 핫스페어 없이도 데이터의 가용성을 보장할 수 있게 됐다”고 강조했다.

이밖에도 버전관리(버저닝)를 통해 사용자의 실수 혹은 랜섬웨어 같은 악의적인 공격에서도 데이터를 이전 버전으로 돌리는 기능을 통해 데이터의 가용성을 제공한다. ‘오브젝트 락킹’이라 불리는 데이터 위변조 방지 기술을 통해서 데이터의 변경을 원천적으로 차단하는 기술도 제공한다.

이와 함께 3개의 개별적인 사이트에 액티브스케일을 구축하고 데이터를 동적 분산 제공하는 기술, 성능과 용량을 분리한 레이어드 아키텍처, 디스크 내부를 헬륨가스로 충전하는 등의 차별화를 통해 높은 효율성을 제공한다. 콜드 스토리지 기능을 추가해 동일한 액티브스케일에 디스크 티어와 테이프 티어를 구별해 데이터 액세스 빈도에 따라 파격적인 비용 절감도 가능하다.

유 차장은 “이는 현재 생명공학이나 방송 등 다양한 분야에서 대규모 확장과 안정적인 저장소로의 역할을 제공하고 있다”며 “오브젝트 스토리지는 특정 목적이나 용도를 넘어 거의 대부분의 비정형 데이터 관리 영역에서 비용 고민을 해결할 수 있을 것”이라고 강조했다.

<백지영 기자>jyp@ddaily.co.kr