[여기알아?] “실시간 데이터가 곧 비즈니스”…국내 상륙 1년 ‘컨플루언트’

실시간
뉴스

소프트웨어

[여기알아?] “실시간 데이터가 곧 비즈니스”…국내 상륙 1년 ‘컨플루언트’

디지털데일리 발행일 2021-04-26 08:01:09

백지영

URL복사

-오픈소스 아파치 카프카 지원, 실시간 이벤트 스트리밍 플랫폼 기업

-지난해 3월 한국 지사 설립…통신사, e커머스 등 고객 확보

[디지털데일리 백지영기자] 지금으로부터 13년 전인 2008년, 소셜 네트워크 서비스 업체 링크드인의 엔지니어 3명이 만든 ‘아파치 카프카’는 폭증하는 데이터 시대, 현재 가장 핫한 솔루션 중 하나다. 2010년 오픈소스로 공개된 카프카는 2012년 아파치 인큐베이터를 졸업했다.

이후 카프카를 만든 3명의 엔지니어는 2014년 아파치 카프카에 더욱 집중하기 위해 ‘컨플루언트’라는 회사를 설립했다.

캘리포니아 마운틴 뷰에 본사를 둔 컨플루언트는 지난해 3월 한국 지사도 설립했다. 최영주 지사장이 이끄는 컨플루언트 코리아는 이미 등 통신사, e커머스 등 대형 고객을 확보했다. 컨플루언트는 현재 아파치 카프카의 상용 솔루션 및 관련 기술지원서비스 등을 제공하고 있다.

아파치 카프카는 여러 소스의 데이터 스트림을 처리, 전달하는 오픈소스 기반의 실시간 이벤트 스트리밍 플랫폼이다. 여기서 말하는 이벤트는 실제 비즈니스에서 일어나는 모든 일을 뜻한다. 예를 들어 자동차에서 타이어 압력이 낮아지는 시점, 실시간 배송 정보 등 적절한 정보를 고객에게 제공하고, 이를 통해 고객 경험을 향상시키는 역할을 한다.

이때 발생하는 실시간 데이터(이벤트)는 무척 방대하다. 여러 소스에서 ‘강물처럼 쏟아지고 흘러가는’ 대용량 데이터는 이벤트 스트림으로 표현된다. 카프카는 이벤트를 전송받고 이를 저장하며, 실시간 분석까지 제공한다. 태생은 ‘메시징 큐(메시징 전송 플랫폼)’로 시작됐으나, 기존 메시징 플랫폼 역할 외에 대용량 데이터의 실시간 처리와 분석 등 실시간 이벤트에 빠르게 대응하는 기술로 진화했다.

특히 카프카의 핵심 기능 중 하나는 대용량의 실시간 데이터를 하드디스크에 빠르게 쓰는 기술이다. 카프카라는 이름은 소설가 프란츠 카프카에서 따온 것이다.

카프카의 창시자 중 한명인 제이 크렙스는 대학 시절 문학 수업을 들으며 프란츠 카프카에 심취해 있었는데, 자신의 팀이 새로 개발할 시스템이 데이터 저장과 기록, 즉 ‘쓰기에 최적화된 시스템(a system optimized for writing)’이었기에 작가의 이름을 사용하는 것이 좋겠다고 생각해서 카프카로 정했다는 얘기는 잘 알려져 있다.

제이 크렙스는 링크드인에 근무할 당시 ‘아파치 카프카 벤치마크 : 3대의 저렴한 장비(x86)로 초당 200만 쓰기 속도’라는 포스팅을 올리기도 했다. 김현수 컨플루언트 기술담당 상무는 “2020년 기준 포춘 100대 기업의 80%가 카프카를 사용하고 있으며, 이들 대부분이 컨플루언트의 고객사”라며 “또, 컨플루언트 개발자들이 카프카 커밋의 많은 부분을 담당하고 있다”고 말했다.

현재 아파치 카프카는 아파치 2.0 라이선스에 따라 누구나 무료로 사용할 수 있다. 하지만 컨플루언트는 ‘컨플루언트 카프카’라는 상용 버전과 함께 사전 구축된 커넥터, ksqlDB, REST 프록시, 스키마 레지스트리 등의 기능을 함께 제공한다. 최근엔 오라클 골든게이트(OGG)를 대체하는 오라클 CDC(변경 데이터 추출) 커넥터를 선보이기도 했다. 이들 기능 중 일부는 컨플루언트의 엔터프라이즈 라이선스를 통해서만 사용할 수 있다.

아파치 카프카의 창시자이자 컨플루언트의 공동 창업자. 왼쪽부터 네하 나크하데, 제이 크렙스, 준 라오

현재 컨플루언트는 2가지 형태의 제품을 공급하고 있다. 하나는 어떤 환경에서든 설치 가능한 ‘컨플루언트 플랫폼’, 나머지는 완전 관리형 클라우드 서비스인 ‘컨플루언트 클라우드’다. 컨플루언트클라우드 제품은 아마존웹서비스(AWS), 마이크로소프트(MS)등 주요 클라우드 서비스에서 구동된다.

김 상무는 “자동차로 비유하면 카프카가 엔진이라면 컨플루언트는 완성차의 개념”이라며 “인터페이스는 동일하지만, 다양한 기능 추가나 버그픽스 등이 제공된다”며 “카프카로 전통적인 방식으로 구현하기 위해선 2년 정도가 걸리는 반면, 컨플루언트 클라우드를 활용할 경우엔 3~6개월이면 개발이 가능하다”고 강조했다.

현재 넷플릭스와 모건스탠리, 뱅크오브아메리카, 리프트, 아우디, 월마트 등 많은 기업이 컨플루언트를 사용하고 있으며, 국내에선 통신사, e커머스 기업 등을 고객으로 확보했다.

한편 컨플루언트는 지난해 받은 2억5000만달러의 시리즈E 펀딩을 통해 기업 가치는 45억달러에 달한다.

<백지영 기자>jyp@ddaily.co.kr