[NES2015] “FDS, 실시간 데이터, 과거 데이터 동시에 분석해야”

실시간
뉴스

e비즈*솔루션

[NES2015] “FDS, 실시간 데이터, 과거 데이터 동시에 분석해야”

디지털데일리 발행일 2015-04-17 10:44:24

심재석

URL복사

“이상거래탐지시스템(FDS)는 한 사람의 과거 행위 패턴과 현재의 실시간 행위를 모두 분석해야 합니다. 하둡과 같은 분석 시스템만으로는 FDS를 구축할 수 없습니다”

빅데이터 전문업체 앤서 박준형 대표는 16일 <디지털데일리> 주최로 반포동 JW메리어트호텔에서 열린 ‘차세대 기업보안 세미나 NES2015’에서 이같이 강조했다. 하둡을 기반으로 한 분산처리기술이 빅데이터의 대세로 떠올랐지만, FDS를 위해서는 실시간 분석 기술이 병행돼야 한다는 것이다.

박 대표는 “FDS에서 중요한 것은 탐지하는 것 자체가 아니라 진짜 중요한 위협만 골라내 제거하는 것”이라며서 “과거에도 ESM(Enterprise Security Management) 등으로 보안을 관리했지만 위협을 찾아 제거하는 것이 아니라 그저 모니터링만 했다”고 지적했다.

박 대표는 이어 “10개의 위협을 찾더라도 과거, 오늘의 데이터를 바탕으로 정확히 탐지하고, 제거하는 것이 중요하다”고 강조했다.

박 대표는 이를 위해 자사가 공급하고 있는 인메모리 기반의 로그분석 시스템 ‘로그프레소’를 소개했다. 박 대표에 따르면, 로그프레소는 정형·비정형 구별하지 않고 실시간으로 데이터를 수집해 분석하는 솔루션이다. 특정 단어와 조건만으로 쉽게 분석 결과를 얻을 수 있으며, 이는 미국의 스플렁크와 비슷한 기능을 제공한다.

로그프레소의 가장 큰 특징은 스트리밍 분석 기술이다. 이는 데이터를 저장하기 전에 메모리 상에서 한 번 걸러주는 것이다. 메모리에 질의(쿼리)가 올라가 있고 이 질의를 통과한 데이터만 수집된다. 데이터 분석에서 가장 많은 시간이 디스크 IO에서 소모되는데 메모리에서 데이터를 걸러진 데이터만 저장하면 분석 속도를 대폭 향상시킬 수 있다는 것이 박 대표의 설명이다.

박 대표는 “기존의 분석이 수조에 있는 오물을 뜰채로 걸러내는 것이라면, 스트림 분석은 뜰채를 놓고 그 위에 물을 붓는 것”이라고 설명했다.

박 대표는 “기업 경영자의 요구는 실시간으로 발생하는 대규모 데이터를 빠르게 분석해 인사이트를 찾는 것”이라며 “실시간 분석 기술 없이 하둡과 같은 분산처리기술에만 의존하면 이같은 요구를 충족시킬 수 없다”고 말했다.

<심재석 기자>sjs@ddaily.co.kr