[데이터센터2022] 컨플루언트 “아파치 카프카, 현대 기술의 중추 신경계 역할”

실시간
뉴스

e비즈*솔루션

[데이터센터2022] 컨플루언트 “아파치 카프카, 현대 기술의 중추 신경계 역할”

디지털데일리 발행일 2022-07-14 16:15:52

이종현

URL복사

[디지털데일리 이종현기자] “기업의 비즈니스는 점점 소프트웨어(SW) 중심적으로 변하는 중이다. 이동을 위해 차량 호출 애플리케이션(앱)을 쓰고, 장을 보러 가는 대신 쇼핑앱으로 새벽배송을 시키는 것이 그 예다. 그동안 버려지고 있던 데이터가 가치 있는 데이터로 재탄생되고 있는 현재, 데이터의 실시간 처리에 대한 수요가 점차 커지고 있다.” (컨플루언트 신준희 이사)

컨플루언트 신준희 이사는 14일 서울 중구 명동 은행연합회관에서 열린 ‘위드 데이터 시대, 데이터센터 퀀텀 점프 2022’의 발표자로 나서며 이같이 밝혔다. 데이터의 활용 가치가 달라짐에 따라 이를 위한 새로운 접근방법이 필요하다는 주장이다.

컨플루언트(Confluent)는 오픈소스 소프트웨어(SW)인 아파치(Apache) 카프카(Kafka)를 기업용 버전으로 제공하는 기업이다. 2008년 소셜 네트워크 서비스 업체 링크드인의 엔지니어 3명이 만든 아파치 카프카를 개발한 3명의 엔지니어가 2014년 설립한 곳이 컨플루언트다.

핵심 비즈니스는 데이터 인 모션(Data in Motion, 데이터 이동), 데이터의 지속적인 실시간 처리다. 데이터베이스(DB)에 데이터를 쌓아두고 필요할 때 일괄 처리하는 과거 방식의 경우 기밀한 데이터 처리에 제약이 있었는데, 이를 해소할 수 있도록 지원하는 것이 컨플루언트의 역할이다.

신 이사는 “최근 2~3년 동안 코로나19로 삶의 많은 부분이 변화했다. 비즈니스의 방식이 오프라인에서 온라인으로 옮겨가는 추세다. 디지털 영역에서 데이터의 활용도는 점점 더 커지는 중”이라며 “비즈니스의 성패가 보다 나은 사용자경험을 제공하고, 빠르게 서비스를 론칭하는 것으로 변하는 만큼 데이터의 실시간 처리에 대한 수요는 더욱 커질 것으로 예상된다”고 말했다.

데이터 처리를 위한 기반 기술인 만큼 사용 영역은 다양하다. 유통, 의료 서비스, 금융, 게임 등 다방면에서 활용되고 있다. 카카오게임즈의 경우 게임 내 부당행위를 실시간 추적하기 위해, BMW는 생산·물류 최적회를 위해 카프카를 채택하고 있다.

신 이사는 컨플루언트를 ‘중추신경계’에 비유했다. 인체에서 중추신경계가 손이나 팔, 다리 등 각각의 신경을 컨트롤하는 것처럼 모든 데이터를 컨플루언트 플랫폼에 통합, 자연스럽게 흐를 수 있는 구조를 만든다는 설명이다.

이와 같은 기능은 최근 정보기술(IT)의 주요 트렌드로 자리 잡은 하이브리드 클라우드에서도 유용하게 활용되고 있다. 온프레미스나 퍼블릭 클라우드 등, 서로 다른 IT 환경간 데이터가 복제 또는 활용돼야 하는데 카프카가 이를 실시간으로 처리할 수 있도록 돕는다. 현대화된 앱의 조건이라고 불리는 마이크로서비스아키텍처(MSA)의 문제 해결에도 쓰인다.

카프카의 경우 오픈소스다. 컨플루언트가 아니더라도 이용할 수 있다. 이에 신 이사는 그간 쌓아온 레퍼런스와 클라우드에 적합하도록 카프카를 재창조하는 등의 전문성, 또 온프레미스뿐만 아니라 주요 클라우드까지 아우르는 호환성을 무기로 내세웠다.

그는 “아파치 카프카 프로젝트의 80%는 컨플루언트의 직원들로 구성됐다. 이는 고객이 원하는 기능이나 요구사항을 빠르게 반영하고, 만약의 사태에 빠르게 대응할 수 있는 기술력을 갖췄다는 의미”라고 강조하며 “컨플루언트는 데이터를 보다 가치 있게 활용하기 위한 카프카를 보다 효율적인고 안전하게 사용할 수 있도록 지원한다”고 피력했다.