[데이터이노베이션] 생성용AI 시대, 기업들이 ‘엘라스틱 서치플랫폼’ 찾는 이유

실시간
뉴스

솔루션

[데이터이노베이션] 생성용AI 시대, 기업들이 ‘엘라스틱 서치플랫폼’ 찾는 이유

디지털데일리 발행일 2024-02-22 16:00:00

최민지 기자

URL복사

엘라스틱 최길우 이사가 22일 <디지털데일리> 주최로 ‘데이터이노베이션 포 DB 인프라 2024’ 버추얼 콘퍼런스에서 발표를 하고 있다. [ⓒ 디지털데일리]

[디지털데일리 최민지기자] 생성형 인공지능(AI)이 개인을 넘어 산업 곳곳으로 활용처를 넓히고 있다. AI 시대에 대응하려는 기업들은 거대언어모델(LLM)과 연결되면서도, 높은 효율성과 가시성을 지닌 통합적 IT 솔루션을 원한다. 이같은 니즈를 충족할 수 있는 솔루션이 제시됐다.

22일 <디지털데일리> 주최로 열린 ‘데이터이노베이션 포 DB 인프라 2024’ 버추얼 콘퍼런스에서 엘라스틱 최길우 이사는 “생성형AI를 도입하는 여러 곳에서 엘라스틱 서치 플랫폼을 고려하고 있다”고 자신했다.

엘라스틱 서치 플랫폼을 이용하면 어떤 효과가 있을까. 예를 들어, 챗GPT에 “부엌에 있는 재료로 볶음밥을 만들려면 어떻게 해야 하나요?”라고 질문해보자. 챗GPT는 질의자의 주방 내 식재료 상황을 고려하지 않고, 일반적인 볶음밥 요리법을 알려준다. 이후 스팸과 냉동야채가 있다고 알려줘야, 질의자 상황에 맞는 요리법이 나온다.

엘라스틱 서치는 시멘틱 벡터 검색을 통해 데이터에 대한 컨텍스트를 찾는다. 볶음밥 요리법에 대한 묻고자 할 때, 부엌에 무엇이 있는지 엘라스틱 서치에서 검색을 한다. 이때 엘라스틱 서치는 보유한 재료 등에 랭킹 점수를 부여한다. 스팸과 냉동야채는 0.95로, 베이킹소다 경우 0.10이다. 베이킹소다는 점수가 낮기에 볶음밥 재료에서 제외된다. 이후 컨텍스트 기반으로 생성형AI에 질의를 했을 때 올바른 답을 도출할 수 있다. 이러한 검색 방식을 ‘검색 증강 생성’이라 부른다.

최길우 이사는 “이 예시는 부엌이지만 기업 내 조직에서 질문을 던진다면, 부엌은 구글 드라이브 등과 같은 문서 저장소다. 이를 통해 올바른 대답을 도출할 수 있다”며 “생성형AI는 일반적인 세상에 대해선 잘 알지만, 개인에 대해선 알지 못하기에 ‘스팸’과 ‘냉동야채’라는 컨텍스트를 제공해야 좋은 성능을 발휘할 수 있다”고 설명했다.

이같은 엘라스틱 서치 플랫폼 환경에서는 ▲엔터프라이즈 검색 ▲옵저버빌리티 ▲보안, 3가지 솔루션을 제공한다. 이중에서 주목할 솔루션은 ‘엘라스틱 옵저버빌리티’다.

엘라스틱 옵저버빌리티는 로그 분석부터 인프라 모니터링, 애플리케이션 성능 모니터링(APM), 엔드 유저 모니터링(RUM) 등 각종 기능을 한 플랫폼과 한 데이터 저장소에서 제공한다. 퍼블릭 클라우드와 하이브리드 환경뿐 아니라 온프레미스 구축도 가능하다.

최길우 이사는 “엘라스틱 옵저버빌리티는 로그, 메트릭, 트레이스 데이터 타입 기반으로 프론트부터 백엔드까지 풀스택 옵저버빌리티를 제공한다”며 “가장 시간이 많이 소요되지만 먼저 해야 하는 데이터 수집 단계에서도 간편할 뿐 아니라, 대시보드 및 시각화 기능을 포함해 350여개 이상 통합을 지원한다”고 말했다.

중앙에이전트관리(플릿, Fleet)를 통해 빠른 가시성을 확보하고 수천개 에이전트를 통합해 관리할 수 있게 된 점도 주효하다. 중앙에서 사용자환경(UI)으로 관리하게 되면서, 한 번의 클릭으로 에이전트 설정 변경과 업그레이드가 가능해졌다. 또한 이상이 없는지, 비활성화 상태인지, 각 에이전스 메모리 상태 및 버전 등도 UI로 편리하게 확인할 수 있다. 이뿐 아니라, 클릭 한 번으로 모든 에이전트에서 정책 업데이트도 가능하다.

중요한 기능 중 하나는 로그 분석이다. 하이브리드 클라우드를 위한 확장 가능한 중앙 집중식 로그 모니터링을 지원한다. 머신러닝을 기반으로 로그 패턴을 분석해 이상징후를 탐지하며 점수도 표기한다. 특정 로그가 갑자기 늘거나 줄었는지 패턴별로 쉽게 파악할 수 있도록 했다. 클러스터 통합 검색으로 로그도 손쉽게 검색할 수 있으며, 데이터 계층을 통해 성능과 스토리지를 효율적으로 최적화했다.

최 이사는 “데이터 보유기간이 정해져 있거나, 기간을 늘리려면 비용을 더 추가해야 하는 경우가 많다. 엘라스틱에서는 데이터 보관기간을 선택적으로 더 유연하게 가져갈 수 있다”며 “데이터를 계층별로 이동할 수 있고, 보관 주기엔 제한이 없으나 데이터 관리 상황에 따라 설정할 수 있어 비용 효율적”이라고 전했다.

앱 성능 모니터링(APM) 기능도 제공된다. 엘라스틱 에이전트 혹은 오픈 텔레메트리(Open Telemetry)를 사용하는 서비스가 있다면, 상관관계 분석을 통해서 속도 저하나 에러의 근본 원인을 식별할 수 있다. 머신러인 기반 상태 지표와 이상징후 탐지 기능으로 문제를 신속히 해결하고, 엔드투엔드(end-to-end) 분산 트레이싱으로 코드 품질을 높였다.

아울러, 최 이사는 AI 어시스턴트 기능을 소개하며 “챗GPT와 다른 점은 엘라스틱 로그와 컨텍스트 등을 기반으로 유용한 정보를 제공한다”며 “수만건의 로그가 발생했을 때 알림을 주고, 자동으로 분석하고 구분한다”고 말했다. 이어 “왜 알림이 발생했는지 물어보면, 자동으로 분석해서 보여준다”며 “현재는 영어로 설정돼 있는데, 한글로 이야기해달라고 말하면 한국어로 보여준다. 특정 데이터 시각화를 요청하면 그래프를 그려주기도 한다”고 부연했다.