데이터 통합, 하둡과 NoSQL까지 확장

실시간
뉴스

소프트웨어

데이터 통합, 하둡과 NoSQL까지 확장

디지털데일리 발행일 2011-10-18 12:09:13

심재석 기자

URL복사

최근 IT업계의 가장 뜨거운 화두 중 하나는 단연 ‘빅 데이터(Big Data)’다. 빅 데이터란 단순히 데이터의 규모가 커진 것만을 의미하는 것은 아니다. 기존의 트랜잭션 데이터의 규모가 급격히 커진 것을 포함해 소셜 미디어, 센서 네트워크 등으로부터 다양한 종류의 복잡한 데이터가 생성되고 있는 현상을 말한다.

빅 데이터 시대의 도래는 기업에게 새로운 위기와 기회를 동시에 던져주고 있다. 전통적인 데이터 분석 방법만으로는 빅 데이터 시대에 대처하는 것이 불가능해졌다는 점에서 위기이지만, 이를 잘 활용하면 비즈니스에 도움이 되는 지식이나 패턴을 과거보다 더 구체적으로 찾는 것이 가능해졌다.

이에 <디지털데일리>는 세계적인 데이터통합 전문기업 <인포매티카>와 함께 4회에 걸쳐 빅 데이터 시대에 기업들이 어떻게 대처하고, 새로운 데이터 통합 전략 방안에 대해 살펴본다.

[기획/빅 데이터통합]② “인포매니카 9.1, 빅데이터 통합 플랫폼”

[디지털데일리 심재석기자] 기업이 정보 기반의 통찰력을 얻기 위해 ‘데이터 통합’이 필수적이라는 사실은 이미 IT업계에서 증명된 사실이다.

ERP(전사적자원관리) 시스템에 있는 재무 데이터와 CRM(고객관계관리) 시스템에 있는 고객 데이터, SCM(공급망관리) 시스템에 있는 협력업체 데이터 등을 통합해 볼 수 없다면, 기업의 전략은 실행되기 어렵다.

매출의 추이와 고객의 상황을 비교해 판단하지 못하거나, 부품 조달이 힘든 제품의 판매계획을 확대하는 우를 범할 수 있기 때문이다.

이 때문에 많은 기업들은 각각의 데이터를 통합해 하나의 관점에서 분석하려는 노력을 해 왔다. ETL(추출ㆍ변환ㆍ연계), 데이터웨어하우스(DW) 등이 이를 위한 대표적인 기술들이다. 애플리케이션에서 운영 데이터를 추출해 정제한 후 데이터웨어하우스 등에 적재한후 여러 방면에서 분석해 비즈니스 통찰력을 얻고자 했다.

하지만 최근에는 데이터 통합 기술이 어려움에 봉착했다. 기존에는 운영 애플리케이션에서발생하는 체계화 된 데이터만 통합의 대상이었는데, 이제는 소셜 미디어, 센서 네트워크 등에서 발생하는 비정형 데이터도 통합해야 하는 숙제가 생긴 것이다. 특히 이들 데이터는 기존에 기업들이 경험하지 못한 페타바이트 규모로 발생하기 때문에 고민은 더 커지고 있다.

기존의 비즈니스 인텔리전스 시스템으로는 이와 같은 빅 데이터를 처리하기 어려워진 것이다.

가트너의 리서치 담당 부사장인 마크 베이어(Mark Beyer)는 “기존 트랜잭션 데이터 규모가 급증하고, 소셜 네트워크, 이미지 등 과거에는 활용되지 않았던 새로운 유형의 데이터가 폭발하고 있다”면서 “데이터 통합, 데이터 품질, MDM(Master Data Management)은 기업들이 빅 데이터의 잠재성을 완벽하게 활용할 수 있도록 돕는 핵심 기술 요소”라고 말했다.

데이터 통합 전문기업 인포매티카가 최근 선보인 데이터 통합 플래폼 ‘인포매티카 9.1’은 이 같은 빅 데이터 통합에 대한 해결책을 제시하기 위해 개발된 것이다.

빅 데이터 통합을 위한 인포매티카9.1의 가장 큰 특징은 아파치 하둡(Hadoop)과 연계된다는 점이다. 하둡은 대용량 비정형 데이터를 저장하는 기술로, 빅 데이터 시대의 총아로 오르고 있다.

인포매티카 9.1은 하둡의 데이터를 추출해 가져오거나 하둡에 데이터를 보낼 수 있다. 이런 연결기능로 인해, 하둡에 있는 데이터에까지 데이터 품질관리, 데이터 프로파일링 등의 기술을 적용할 수 있게 됐다. 기존의 데이터 통합 기술을 하둡까지 확장한 것이다.

또 인포매티카 9.1에 포함된 새로운 소셜 미디어 커넥터는 페이스북, 트위터, 링크드인 등 소셜 미디어의 데이터 소스에 엑세스 할 수 있도록 지원한다.

인포매티카 기술에 익숙한 기업이라면, 추가적인 기술 습득 없이 하둡과 소셜 미디어의 데이터를 통합할 수 있다.

아울러 인포매티카 9.1은 빅 데이터 처리의 속도 및 복잡성 문제를 해결하기 위해 CEP(복합 이벤트 처리) 기술을 데이터 품질 및 통합 모니터링에 도입했다. 이는 문제 발생시 현업 부서 사용자나 IT 부서에 실시간으로 문제를 경고해준다.

인포매니카 9.1의 데이터 가상화 및 페더레이션 기능도 빅 데이터의 복잡성을 해결하기 위한 것이다. 여러 종류의 소스에서 발생한 데이터를 하나의 데이터 소스처럼 볼 수 있고, 이를 필요한 애플리케이션에 결합할 수 있다.

이를 통해 개발자들이 기존 접근법보다 상당히 짧은 시간과 적은 비용으로 다양한 데이터 서비스를 신속하게 설계, 구현 및 재사용할 수 있다고 회사측은 설명하고 있다.

IT시장조사기관 오범의 애널리스트 마단 시이나는 보고서에서 “인포매티카 9.1의 하이라이트는 빅 데이터 통합”이라면서 “인포매니카는 클라우데라 및 EMC와의 제휴를 통해 하둡으로의 데이터 이동을 지원할 뿐 아니라 인포매니카와 하둡간의 쌍방향 연결 기능까지 추가했다”고 말했다.

<심재석 기자>sjs@ddaily.co.kr