[창간8주년/대한민국 빅데이터] KT, 빅데이터로 567억원 절감

실시간
뉴스

특집

[창간8주년/대한민국 빅데이터] KT, 빅데이터로 567억원 절감

디지털데일리 발행일 2013-05-28 09:14:40

심재석 기자

URL복사

빅데이터는 현재 IT업계의 최대 화두다. 2~3년 전 빅데이터의 중요성이 대두된 이후 기업들은 빅데이터를 어떻게 활용할 것인지에 대한 고민을 안고 있다.

그러나 아직 국내에서 빅데이터 활용은 초기 단계다. 움직임이 빠른 기업들은 빅데이터를 부분적으로 도입해 효과를 본 사례가 일부 나타나기도 했지만 아직 대부분의 기업들은 빅데이터가 무엇인지 학습을 하고 있는 단계다.

디지털데일리는 창간8주년 기획 ‘대한민국 빅데이터, 어디로 가야할까’를 통해 빅데이터 활용 전략에 대한 전문가들의 조언과 도입 사례, 주목할만한 빅데이터 솔루션 등을 소개할 계획이다.

2부에서는 KT, 엔씨소프트, GS홈쇼핑 등 각각 다른 산업의 대표 기업들이 빅데이터를 어떻게 활용하고 있는지 사례를 살펴본다.

2부 기사 순서

① KT, 빅데이터로 567억원 절감

② 엔씨소프트, 오픈소스로 상용DW 대체

③ GS홈쇼핑 “빅데이터 기술 내재화 주력”

[디지털데일리 심재석기자]KT는 국내에서 빅데이터에 가장 발빠르게 움직이는 기업 중 하나다. 빅데이터 기술을 내부 서비스에 활용하는 것을 넘어, 빅데이터 전문기업 넥스알을 인수하는 등 신규 비즈니스 영역으로 빅데이터를 바라보고 있다.

KT가 빅데이터에 대해 적극적인 이유는 자체적으로 보유한 데이터가 어마어마하게 많기 때문이다. KT 전체가 현재 보유한 데이터가 1페타바이트에 달하는 것으로 전해졌다.

대표적인 것이 사용자들의 통화 기록, 데이터 사용 기록 로그다. 이 로그 데이터를 기반으로 과금하기 때문에 이에 대한 처리는 필수적이다. 예를 들어 고객응대를 위해 처리하는 데이터만 하루에 10테라바이트가 쌓인다. 고객에게 항의가 들어오면 90일치 데이터를 5초안에 들여다 봐야 한다. 요금이 과다 청구됐다는 고객의 항의에 유튜브를 얼마나 보고, 얼마나 많은 데이터를 썼는지 설명하지 못하면 큰 분쟁이 될 수 있다.

이런 대규모 데이터를 기존에는 상용 데이터베이스를 통해 저장하고 분석했다. 그러나 그 방식은 비용 부담이 너무 컸다. 100억원 이상의 예산이 들어가는 프로젝트가 비일비재했다. LTE가 확산되면서 데이터의 증가 속도는 더 빨라졌다. 결국 상용 DB는 확장성 및 비용 면에서 효율적이지 않다고 KT는 판단을 내렸다.

KT는 이에 대한 대안으로 ‘하둡 및 에코시스템’을 선택했다. 오라클, 사이베이스 등의 상용 데이터웨어하우스(DW) 대신 하둡과 그 에코시스템을 통해 데이터를 저장하고, 처리토록 했다. 1차적으로 400테라바이트 규모의 데이터를 처리할 수 있는 환경을 마련했고, 내년까지 1페타바이트를 처리할 수 있도록 시스템을 구축겠다는 계획이다.

이 프로젝트에는 KT넥스알의 NDAP이라는 빅데이터 플랫폼이 도입됐다. NDAP은 오픈소스소프트웨어를 기반으로 KT넥스알 측이 개발한 것이다. 아파치 플럼(데이터 수집), 아파치 하둡파일시스템(저장), HBASE(실시간 검색), 하이브(SQL 처리), 아파치 우지(워크플로우), 스쿱(데이터 통합) 등이 활용됐다.