[인터뷰] 오라클 ‘AI환각’ 해소법? “벡터DB로 검색증강생성(RAG) 지원”

실시간
뉴스

소프트웨어

[인터뷰] 오라클 ‘AI환각’ 해소법? “벡터DB로 검색증강생성(RAG) 지원”

디지털데일리 발행일 2024-01-28 18:48:13

이안나 기자

URL복사

오라클 데이터베이스 서비스 [ⓒ 오라클 홈페이지 갈무리]

[디지털데일리 이안나기자] 생성형 인공지능(AI)이 일상에 스며들면서, 기업들도 대규모언어모델(LLM)을 갖춰 이를 활용하는 데 관심을 기울이기 시작했다. 훈련된 LLM 기반 생성형AI는 업무 효율성을 높이지만, 최신 정보를 제공하지 못하거나 거짓 정보를 전달하는 환각(할루시네이션)을 만들기도 한다.

오라클은 이러한 생성형AI 단점을 보완하는 방법으로 검색증강생성(RAG, Retrieval Augmented Generation)과 벡터DB(VectorDB)를 제시했다. 오라클 역시 생성형AI를 지원하는 방식으로 데이터베이스 관리시스템(DBMS)를 개발하고 있다. 오라클 주요 제품들에 LLM을 내장해 자연어로 활용할 수 있는데, 여기서 환각현상을 줄이고 실시간 데이터를 최대한 지원하는 방법을 도입했다.

한국오라클 장성우 전무는 지난 25일 <디지털데일리>와 인터뷰에서 “오라클 데이터베이스(DB)를 벡터DB로 만들어서 RAG를 지원한다”며 “AI환각을 최소화하는 제일 좋은 방법은 현재로선 RAG라고 볼 수 있다”고 말했다.

◆ 생성형AI 단점 할루시네이션 최소화 방법은 ‘RAG’

많은 기업이 회사에 가장 알맞은 LLM 모델을 선정해 도입한다. 시장조사기관 가트너는 2023년 5% 미만에 불과했던 기업 생성형AI 애플리케이션 프로그래밍 인터페이스(API), 모델 도입이 2026년엔 80%까지 증가할 것으로 내다봤다.

생성형AI가 업무 효율을 높인다고 해도 아직 한계는 존재한다. 대표적으로 LLM엔 최신 정보가 실시간으로 업데이트되지 않는다. 이에 최신 정보를 묻는 질문엔 답변 정확도가 낮다. 일부 경우엔 무조건 답을 해야하는 LLM 특성상 사실과 다른 정보를 제공하기도 한다.

문제 보완을 위해 먼저 LLM 모델을 도입한 기업은 사내에서 이를 적절히 활용하기 위해 회사 자체 지식·정보를 LLM에 학습시키는 ‘파인튜닝(미세조정)’이 필요하다. 마치 LLM을 유능한 신입사원에 비유하면 파인튜닝은 1~2달간 직장내교육훈련(OJT)을 진행하는 것과 마찬가지다.

하지만 시간과 여유가 없는 상황이라면 어떨까? 신입사원에게 OJT를 제공하기보다 매뉴얼이나 관련 문서를 주고 이 안에서 학습할 것을 요구한다. 오라클이 강조하는 RAG는 회사가 가진 지식이나 문서·경험을 기반으로 생성형AI가 답을 하도록 만드는 방식을 의미한다. 벡터DB는 LLM에 들어있지 않은 지식이나 정보 등이라고 볼 수 있다.

벡터DB는 LLM 부족한 답변을 보완해주는 역할을 한다. 즉 회사가 갖고 있는 정보·지식·문서를 벡터DB에 담아놓은 다음, LLM에 질문이 들어오면 벡터DB에서 질문과 관련된 지식이나 문서를 찾아 LLM에 전달해주고 추가적인 맥락을 넣어 답을 하도록 만드는 과정이 RAG다. 결국 기업이 LLM을 효과적으로 사용하기 위해선 파인튜닝과 RAG를 적절히 병행해야 한다.

장성우 전무는 “가령 오라클DB 23c 최신 정보를 알려달라고 하면 LLM엔 이 정보가 없지만, 벡터DB에서 가져와 답을 할 수 있다”며 “사전에 제공한 근거 문서를 기반으로 답을 하기 때문에 허언을 하는 할루시네이션을 최소화할 수 있다”고 말했다.

한국오라클 장성우 전무 [ⓒ 한국오라클]

◆ 급속도로 증가하는 벡터DB 효율적 관리 방법

기업 입장에선 기존 DB와 벡터DB를 별도 구성해야한다는 점이 부담으로 작용할 수 있다. 가령 고객들에게 당일 시황 데이터를 리포트로 만들어 제공해야 하는 증권사의 경우, LLM이 답을 할 수 있도록 고객 실시간 데이터를 매번 벡터DB에 넣어줘야 하는 불편함이 있다.

이에 오라클은 기존 데이터를 바로 벡터DB로 활용할 수 있도록 지원한다. 이를 통해 기업은 데이터 이중화 문제도 해소할 수 있다. 오라클DB에선 23c에서부터 DB자체를 벡터DB로 구축하는 기능을 제공한다.

벡터DB를 활용한 RAG는 비정형 데이터에 초점이 있다. 문제는 LLM이 확산하면서 비정형 데이터들이 급속도로 늘어나고 있다는 것. 현재 벡터DB는 오픈소스 기반밖에 없는데, 이 경우 데이터량이 증가하면 느려지는 문제가 발생할 수 있다.

오라클은 벡터DB 성능 저하 문제가 발생하지 않도록 차별화를 뒀다. 장 전무는 “차별화 지점은 벡터DB가 많아지면 이를 분할(파티션)하거나 오라클 리얼 애플리케이션 클러스터(RAC)에서 병렬처리 등 다양한 방식으로 관리할 수 있다”고 설명했다.

오라클DB 23에는 자연어 질문에 대한 정확도 높은 답변을 제공하기 위해 ‘시맨틱 검색’ 기능도 추가했다. 기존 DB에 적용되던 키워드 검색에 비해 한층 개선된 점이다. 기존 키워드 검색이 입력한 질문과 관련된 키워드를 취합해 정리·제공했다면, 시멘틱 검색은 사용자 질문 맥락과 의도를 파악해 답변한다.

장 전무는 “생성형AI가 업무상 크게 도움을 주지만 LLM 가장 큰 문제인 환각현상을 줄이지 못하면 비즈니스에 영향을 주고 결국 생성형AI를 써야하는 의미를 잃게 될 수 있다”며 “이를 보완하기 위해 벡터DB가 필요한 거고, LLM 서비스에서 정확한 답을 요구한다면 RAG가 잘 구축돼야 한다”고 강조했다.