[인터뷰]“상담 교육, LLM에 맡긴다”…해빗팩토리가 야무지게 LLM 활용하는 법

실시간
뉴스

e비즈*솔루션

[인터뷰]“상담 교육, LLM에 맡긴다”…해빗팩토리가 야무지게 LLM 활용하는 법

디지털데일리 발행일 2024-12-11 09:00:00

오병훈 기자

URL복사

[디지털데일리 오병훈기자] “전문가의 경험이 녹아 있는 명령어(프롬프트)만 있다면, 미세조정(파인튜닝)이 아니더라도 충분히 활용성 높은 대형언어모델(LLM)을 만들 수 있습니다.”

최근 <디지털데일리>와 만난 이주헌 해빗팩토리 최고기술책임자(CTO)는 회사 AI 전략에 대해 강조하며 이같이 설명했다. 해빗팩토리는 마이데이터를 활용한 보험 비교·추천 서비스 전문 기업으로, 대표적으로 인슈어테크(인슈어런스+테크) 플랫폼 ‘시그널플래너’를 운영 중이다.

으레 기업에서 AI를 활용한다고 하면, 주요 빅테크 기업에서 공개한 모델을 파인튜닝해 사용하는 방법을 떠올리기 마련이다. 파인튜닝은 각종 데이터셋을 LLM모델에 집어넣어 각 분야에 특화된 LLM으로 개조하는 과정이다.

하지만, 이 같은 파인튜닝 과정에는 상당한 비용이 소모된다. 전문 지식을 보유한 담당 직원을 배치해야 하고, 파인튜닝에 활용될 데이터셋을 확보하는 등 추가적인 조치가 필요한 탓이다. 더구나, 활용처에 따라 파인튜닝 효용성도 제각각이다. 기껏 비용을 들여 파인튜닝을 했으나, 여러 요인들에 의해 생각한 만큼 효율이 나오지 않을 수도 있다. 각종 비용 효율을 고려해야하는 스타트업 입장에서는 선뜻 파인튜닝을 통한 LLM 활용이 쉽지 않은 이유다.

이런 딜레마를 해결하기 위해 CTO는 과감히 파인튜닝 대신 프롬프트 엔지니어링에 승부를 걸기로 했다. 프롬프트 엔지니어링이란 LLM 내부에 정제된 데이터셋을 넣는 파인튜닝과 달리, 프롬프트 창(AI와 대화를 나누는 채팅창)을 통해 AI에게 일정 조건과 데이터를 외부에서 집어넣어 AI 모델을 조정하는 것을 의미한다.

이 CTO는 “결과적으로 정보기술(IT)의 목적은 효율성을 증대하는데 있다. 수준 높은 기술이라고 해서 가장 효율적인 기술이라고 할 수 없다”며 “해빗팩토리에서는 신규 보험상담사 교육 목적으로 AI를 활용 중인데, 프롬프팅 엔지니어링을 통한 LLM 조정만으로도 충분히 성능 좋은 결과를 낼 수 있었다”고 설명했다.

이어 “해빗팩토리 LLM 전략은 보험업권에 더해서 보험업권 안에서도 매우 좁은 분야들로 AI 서비스들을 적용시켜 효과를 극대화 시키는 것에 있다”며 “현재 단계에선 보험 상담 및 판매중 생산성을 향상시킬 수 있는 지점에 AI를 적절히 투입하려고 노력 중”이라고 전했다.

해빗팩토리는 이같은 과정을 통해 사내 신입 보험상담사 고객서비스(CS) 교육을 담당하는 ‘해봇’을 개발했다. 다양한 성격의 손님을 매일 같이 마주해야 하는 보험상담사 특성상 사전 CS 가이드라인 교육이 중요하다. 그 과정에서 해봇은 신입 보험사들에게 다양한 유형 고객과 상담 시뮬레이션을 제공한다. 신입 상담사들은 해봇이 생성하는 가상 고객과의 상담을 통해 상황마다 적절한 답변과 안내 방법, 보험 약관 안내 등 전반적인 상담 기법을 배우게 된다.

이 CTO는 “프롬프트 엔지니어링 과정에 베테랑 전문상담사가 직접 투입돼 경험과 노하우를 녹여낼 수 있도록 하고 있다”며 “일반적인 상담 과정 뿐 아니라 다양한 성격 고객 페르소나를 프롬프팅해 교육 받는 신입들이 다양한 상황에 맞딱뜨리더라도 당황하지 않고 대처할 수 있도록 돕고 있다”고 말했다.

해빗팩토리는 해봇 외에도 상담 도중 필요한 자료를 그때그때 검색할 수 있도록 도와주는 ‘시그널 AI 헬퍼’를 개발한 바 있다. 또, 과거 상담했던 이력들을 자동으로 요약해주고 특히 주의해야 할 부분들을 강조해서 알려주는 ‘AI 서머리 에이전트’ 등에도 LLM이 활용된다.

해봇을 비롯한 LLM은 주로 오픈AI의 챗지피티-포오(Chat GPT-4o)를 기반으로 작동한다. 현재는 구글 제미나이 1.5 프로를 활용하는 방법에 대해서도 연구가 진행 중이다. 보험약관 등을 자주 다뤄야 하는 인슈어테크 특성상 대규모 데이터 분석이 필요한 경우에 필요한 경우가 많기 때문이다. 제미나이 1.5 프로 모델은 한번의 질문에 200만 토큰까지 지원하기 때문이라는 설명이다. 토큰은 각 AI모델별로 처리하는 데이터 단위를 의미한다. AI모델 개발사는 토큰 단위별로 비용을 부과하는 방식으로 수익을 챙긴다.

검색 정확도를 높이기 위한 검색증강생성(RAG)도 도입됐다. 약관을 다루는 과정에 전문적인 용어가 많은 탓에 조금만 오류가 나도 문제가 생길 수 있는 부분이다. 이에 RAG를 위한 텍스트 임베딩 모델로 국내 기업 업스테이지의 솔라 임배딩 모델을 채용 중이라는 것이 이 CTO 설명이다.

이 CTO는 향후 LLM을 활용한 다양한 서비스 개발에도 집중할 예정이다. 대표적으로 분류 모델을 기반으로 고객 대화 톤 & 매너 등 ‘감정 온도’를 도입하는 것이다. 감정 온도가 허용 범위를 넘을 경우, 즉 상담에 문제가 발생할 여지가 생길 경우 이를 실시간으로 식별해 대응하겠다는 전략이다.

또한, ▲고객 육성에 따라 자동으로 적절한 서비스 템플릿을 추천해주는 ‘AI 템플릿 에이전트’ ▲약관 요약 데이터를 추출한 질의 응답 서비스 ‘AI 약관 에이전트’ 등 이용자 대상 거래(B2C) 부문에 적극적으로 LLM을 활용할 계획이다.

이 CTO는 “프롬프트를 기반으로 LLM을 학습시키는 만큼, 프롬프트를 수정하거나 업데이트, 교체하는 경우 기존 상태와 비교해서 품질이 어느 정도 향상 되었는지를 측정하는 방법에 대해서도 고민중”이라며 “내부 테스트 자동화가 이루어진다면 신규 기능 도입과 피드백 등 업무 과정이 빠르게 이뤄지게 돼 더욱 활발한 LLM 기술 활용이 가능해질 것이라 본다”고 말했다.

마지막으로 그는 “해빗팩토리가 가장 중요시 생각하는 건 보험 판매에 대한 인식을 개선하는 것이다”라며 “다양한 정보기술(IT)을 통해 고객의 정보 접근성을 높이고 편리한 보험 가입 절차 등을 제공하는 것으로 보험 판매업에 대한 각종 편견을 바꿔보고자 한다”고 전했다.