클라우드로 전환되는 `데이터분석 플랫폼`...효과는?

실시간
뉴스

클라우드 서비스

클라우드로 전환되는 '데이터분석 플랫폼'...효과는?

디지털데일리 발행일 2021-05-23 10:15:29

백지영

URL복사

[창간 16주년 기획-데이터 플랫폼 전략 ①]

클라우드 기반의 데이터 분석 플랫폼 구현 활발

[디지털데일리 백지영기자] “고객 데이터가 위치한 곳에서 분석 플랫폼을 제공한다”

업종을 불문하고 최근 국내 주요 기업들의 데이터 분석 플랫폼 구축이 본격화되고 있다. 이런 가운데, 클라우드 기반의 '데이터 분석 플랫폼' 구축이 하나의 축으로 자리잡고 있다.

이와 함께 기업이 구축해 놓은 온프레미스 인프라와 이를 연계해 궁극적으로 원하는 곳에서 언제 어디서든 쉽게 분석이 가능한 플랫폼으로 진화하고 있는 상황이다.

실제 글로벌 시장조사기관 IDC에 따르면 2019년 기준 퍼블릭 클라우드에서 제공되는 빅데이터 분석 소프트웨어(SW)는 전체 빅데이터 분석 소프트웨어 시장의 30.5%로 전체의 약 1/3을 차지하고 있다. 이같은 추세는 계속돼 오는 2024년까지 연평균 23.2% 성장할 것으로 전망된다.

관련 업계에서도 퍼블릭 클라우드에서 제공되는 빅데이터 분석(BDA) 소프트웨어 시장이 빠르게 성장할 것으로 예상하고 있는 반면, 온프레미스 및 기타 소프트웨어 배포 방식은 오히려 감소하는 추세다.

이러한 추세는 퍼블릭 클라우드 기반의 기술을 신속하게 적용하는 기업이 더디게 적용한 기업에 비해 경쟁력을 강화할 수 있다는 것을 시사한다.

이에 따라 기존 엔터프라이즈 분석 플랫폼 선두 기업들은 아마존웹서비스(AWS)와 마이크로소프트(MS) 애저, 구글 클라우드 등 퍼블릭 클라우드에 자사 솔루션을 공급하며 시장에 본격 대응하고 있으며, 퍼블릭 클라우드 서비스 업체들도 분석 플랫폼을 완전 관리형(매니지드) 서비스로 제공 중이다.

여기에 스노우플레이크와 같이 클라우드 네이티브 분석 플랫폼 신흥강자가 등장하며 그야말로 데이터 분석 플랫폼 시장의 춘추전국시대를 형성하고 있다.

엔터프라이즈 플랫폼 분석 시장의 강자인 SAS는 지난해 11월부터 MS 애저에서 자사의 분석 플랫폼인 ‘SAS 바이야’를 제공하고 있다. 올해 1분기 애저에서 구동되는 SAS 클라우드 솔루션은 전년 대비 34% 성장하는 등 시장 수요가 높다.

SAS는 이에 더해 최근 열린 자사의 온라인 컨퍼런스에서 AWS와 구글 클라우드에서도 데이터 분석을 지원하겠다고 밝혔다. SAS 측은 “고객은 클라우드 환경에서의 분석을 원하고 있다”며 “향후 더 많은 클라우드 사업자를 대상으로 SAS 바이야 지원을 확대해 환경이나 규모에 상관없이 전사적으로 높은 분석을 활용할 수 있는 선택권과 제어 역량을 제공할 것”이라고 말했다.

테라데이타도 데이터 웨어하우스(DW), 데이터 레이크, 분석 기능 등을 통합한 멀티 클라우드 DW 플랫폼 ‘테라데이타 밴티지’를 통해 클라우드 시장에 대응하고 있다. 주요 3사 퍼블릭 클라우드 서비스와 온프레미스, 하이브리드 및 멀티 클라우드 환경 전반에 걸쳐 일관된 기능 및 SW를 활용할 수 있도록 유연성과 선택권을 제공하는 것이 특징이다.

새로운 애플리케이션 구축과 운영을 위한 고급 분석, 실시간 데이터 인텔리전스 및 비즈니스 인텔리전스(BI)·AI·머신러닝 서비스에 대한 연결성을 지원하는 것이 특징이다. 이를 통해 기업의 사일로를 제거하고 모든 데이터에 대한 쿼리를 비용 효율적으로 처리하며 전사적인 가시성을 제공한다는 설명이다.

클라우드 서비스 업체 역시 완전관리형 데이터웨어하우스(DW) 서비스를 제공하며 시장 주도권 잡기에 나서고 있다. AWS는 아마존 레드시프트, 구글 클라우드는 빅쿼리, MS는 애저 시냅스를 각각 제공하며 고객의 데이터 분석 환경을 자사 클라우드로 끌어오기 위해 안간힘을 쓰고 있다.

실제 AWS의 ‘레드시프트’는 AWS 서비스 가운데 가장 빠르게 성장하는 서비스 중 하나다. AWS의 나이크로시스템을 사용해 데이터 암축 및 암호화를 가속화하고 머신러닝 기술로 쿼리를 분석하며 그래프 최적화 알고리즘을 구현한 것이 특징이다. 이를 통해 데이터 구성 및 저장을 자동화하여 쿼리 결과를 빠르게 제공한다.

AWS에 따르면, 레드시프트는 다른 엔터프라이즈 클라우드 DW보다 최대 3배 더 높은 가격 대비 성능을 제공하며, 아마존 EMR, 아마존 아테나, 아마존 세이지메이커 등 다른 분석 서비스에서 추가적인 분석을 수행할 수 있는 것이 특징이다.

현재 아마존 레드시프트를 활용 중인 국내 뷰티기업 아모레퍼시픽은 온·오프라인 판매 시스템과 연동되는 고객 데이터 플랫폼‘를 구축하며, 이전 시스템 대비 운영비용을 34% 절감하는 효과를 거뒀다는 설명이다.

클라우드 환경에서의 중립성을 강조하는 스노우플레이크의 성장세도 클라우드 기반 데이터 플랫폼의 가능성을 높이고 있다. 오라클과 IBM 등에서 근무한 개발자들이 2012년 미국 산마테오에서 설립한 스노우플레이크는 ‘클라우드 DW’ 분야에서 떠오르는 시장 강자다.

스노우플레이크는 클라우드 환경에서 데이터를 수집하고 쉽게 분석할 수 있는 서비스형 소프트웨어(SaaS)다. 현재주요 퍼블릭 클라우드 서비스 환경에서 DW를 사용할 수 있다. 클라우드의 장점을 활용해 데이터 사용량에 따른 자동 확장(오스스케일링 스케일아웃)이 가능하며, 하나의 스토리지와 여러 개의 컴퓨팅 노드로 아키텍처를 구성해 각 노드별로 필요한 업무를 수행할 수 있다.

또, 여러 개의 가상 웨어하우스를 만들어, 이를 각 노드에 할당할 수 있기 때문에 한 번에 다발적인 워크로드 처리가 가능한 것이 특징이다. 무엇보다 여러 클라우드 환경에서 구동되기 때문에 특정 클라우드 서비스에 ‘종속(락인)’되지 않는 기술 중립성이 강점이다. DW의 경우 방대한 양의 데이터를 저장하고 처리해야 하기 때문에, 한번 특정 플랫폼에 묶이면 벗어나기가 쉽지 않다.

클라우드DW 시장 규모가 2020년 560억달러에서 2023년까지 840억달러로 성장할 것으로 예상되는 만큼, 스노우플레이크를 바라보는 시장의 시선도 높다. 특히 지난해 9월 나스닥 상장 당시 버크셔 해서웨이가 스노우플레이크의 지분 투자에 참여했다는 소식이 전해지면서 폭발적인 관심을 받은 바 있다.

<백지영 기자>jyp@ddaily.co.kr