[신년기획/인메모리②]빅데이터 열풍을 이끄는 인메모리 컴퓨팅

실시간
뉴스

소프트웨어

[신년기획/인메모리②]빅데이터 열풍을 이끄는 인메모리 컴퓨팅

디지털데일리 발행일 2013-01-07 07:43:58

심재석 기자

URL복사

[디지털데일리 심재석기자] 틈새시장에 불과했던 인메모리 데이터베이스관리시스템(In-Memory Database Management System) 시장이 IT산업의 주류로 떠오른 것은 빅데이터 때문이다. 데이터의 규모와 종류, 증가속도가 커진 빅데이터에 대응하기 위해 데이터를 빠르게 처리하고 분석하는 것이 필요해진 것이다.

특히 빠른 분석에 대한 요구가 강해졌다. 지금까지 분석 시스템에는 주로 테라데이타 등과 같은 전용 데이터웨어하우징 플랫폼이 활용됐다. 인메모리 DBMS는 주식거래나 과금 등 온라인거래처리에 주로 활용됐다.

그러나 빅데이터를 과거 방식으로 대응해서는 한계를 맞을 수밖에 없다. 디스크 기반의 DBMS는 I/O 병목현상으로 인해 근본적으로 속도에 한계가 있었다.

이 때문에 인메모리 기술이 트랜잭션 처리를 넘어 분석에까지 활용되고 있다. 예를 들어 SAP가 자랑하는 인메모리 어플라이언스 HANA는 분석 업무를 위한 플랫폼이다. 분석 소프트웨어 전문기업 SAS도 인메모리 기술 기반의 고성능 컴퓨팅(HPC) 솔루션을 선보이기도 했다. 이외 대부분의 DB 기업과 분석 소프트웨어 기업이 인메모리 기술을 활용한 제품 및 솔루션을 선보이고 있다.

분석 시스템에 인메모리 기술이 활용되는 이유는 빠른 속도로 인해 다양한 분석을 시도할 수 있기 때문이다. 수많은 데이터의 집합에서 하나의 통찰력을 발견하기 위해서는 데이터들을 이렇게 저렇게 묶어 보고, 이 데이터 속성이 다른 데이터에 어떤 영향을 미치는지 다양한 실험을 해봐야 한다.

분석 속도가 느리면 통찰력을 얻기 위해 시도할 수 있는 분석 시도 횟수가 줄어들 수밖에 없다. 한 번 분석을 걸기 위해서는 분석 전문가가 나서 신중히 모델링 하고 결과를 도출해야 했다. 분석 실패를 줄여야 하기 때문이다.

반면 인메모리 기술을 통해 분석 속도가 획기적으로 빨라지면 훨씬 더 다양한 분석 시도를 해 볼 수 있다. 전혀 연관 없어 보이는 속성들까지 서로 어떻게 작용하는지 테스트해 볼 수 있기 때문에 생각지도 못한 통찰력을 얻어낼 수도 있다. 또 전문 분석가가 아닌 현업 담당자들도 이런저런 시도를 해 볼 수 있어 분석 시스템의 활용도도 높아진다.

즉 속도가 빨라지는 것이 단순히 속도의 혁신이 아니라 비즈니스 혁신을 이끈다는 것이다. 빨라진 속도를 통해 과거에는 엄두도 내지 못했던 일들을 할 수 있게 만든다는 점에서 인메모리 컴퓨팅에 주목할 필요가 있다. 속도의 혁신을 넘어 비즈니스의 혁신이 가능해지는 것이다.

예를 들어 일본 노무라연구소는 인메모리 컴퓨팅을 이용해 도쿄에서 운행하고 있는 1만2000대 택시에서 발생하는 교통정보를 1초에 분석해 최단 이동경로를 운전자들에게 제공한다. 교통흐름을 실시간으로 분석해 막히지 않는 구간을 안내하는 것. 택시들이 최단 이동 경로로 움직이기 때문에 교통 혼잡으로 인한 손실을 막을 수 있다. 또 단순히 택시 회사의 이익뿐 아니라 교통 분산 효과를 가져오기 때문에 공공인프라 개선이라는 부수적 효과도 가져온다.

SAS코리아 조정식 대표는 “우리는 SAS 알고리즘 전체를 인메모리 서버 아키텍처로 옮겨와 사용자들에게 놀라운 속도와 획기적 분석 경험을 제공하고자 한다”면서, “이를 통해 데이터에서 신속하게 인사이트를 도출함으로써 미처 활용하지 못하고 사라지던 결정적 비즈니스 기회가 포착되고 활용될 것으로 기대한다”고 말했다.

<심재석 기자>sjs@ddaily.co.kr