라이너-카이스트 연구실 `AI 에이전트 신뢰도 측정 벤치마크` 공동개발 나선다

실시간
뉴스

일반

라이너-카이스트 연구실 'AI 에이전트 신뢰도 측정 벤치마크' 공동개발 나선다

디지털데일리 발행일 2024-06-25 10:26:10

이건한 기자

URL복사

[디지털데일리 이건한 기자] 글로벌 AI 검색엔진 라이너가 한국과학기술원 인터랙션연구실(KIXLAB)과 'AI 에이전트 시스템 신뢰도 측정 지표 및 벤치마크 개발'에 관한 공동연구에 나선다.

최근 AI 기술이 적용된 서비스, 활용 범위는 점차 넓어지고 있지만 AI를 신뢰할 수 있는지에 대한 우려는 지속적으로 제기되고 있다. 가까운 예로 구글은 지난달 새로운 검색 서비스 'AI 오버뷰'를 공개했지만 출시 직후 AI 환각현상(Hallucination)에 따른 잘못된 답을 내놓는 사례들이 발견되며 비판을 받은 바 있다.

라이너와 KIXLAB은 이러한 AI 신뢰 문제를 해결하기 위해 공동연구를 계획했다. 2025년 3월까지 각자의 전문성과 역량을 결합해 AI 에이전트 시스템 신뢰도를 측정할 수 있는 벤치마크 데이터셋을 개발하겠다는 설명이다.

라이너는 2023년 2월 국내 최초로 AI 검색 에이전트를 선보인 정보탐색 AI 스타트업이다. 2015년부터 웹 하이라이팅 서비스를 운영하며 사람이 직접 중요하고 유용하다고 판단하고 선별한 고품질의 데이터를 바탕으로 AI 에이전트를 고도화해 왔다. 웹에는 거짓이거나 불필요한 정보도 방대하게 존재하는데 라이너는 이렇게 축적한 양질의 데이터를 바탕으로 신뢰할 수 있는 정보를 빠르게 제공한다.

현재 오픈 AI의 최신 모델인 ▲GPT-4o ▲클로드(Claude) ▲제미나이(Gemini) ▲라마(Llama) 등 글로벌 빅테크 기업의 AI 모델에 라이너만의 고품질 데이터를 파인튜닝해 정보탐색에 최적화된 서비스를 제공하고 있다. 신뢰할 수 있는 출처와 답변을 함께 제공하므로 시의성 있는 정보나 학술적인 정보를 얻고자 하는 이들의 만족도가 높은 서비스로 평가된다.

다만 라이너를 비롯한 AI 서비스의 확산과 기술 상용화를 위해서는 AI에 대한 지속적인 신뢰도 제고가 관건이다. 라이너는 첫 산학협력 파트너인 KIXLAB과 구축하는 이번 데이터셋을 우선 자체 서비스 신뢰도 검증에 활용하고 AI 환각 감소에 특히 힘을 기울일 계획이다.

본 연구에 함께하는 KIXLAB은 카이스트 전산학부 김주호 교수가 이끄는 팀이다. 대규모 온라인 시스템에서의 인간-컴퓨터 상호작용(HCI, Human-Computer Interaction) 분야 관련 연구를 활발히 수행하는 권위 있는 연구실로 알려져 있다. 이번 연구와 관련해 KIXLAB은 올해 FAccT 학회에 제출한 논문에서 'AI 생성물로부터 정확한 정보를 파악할 수 있는 효과적인 방법'을 제안한 바 있다. 더불어 AI 신뢰성 및 투명성 제고에 기여할 수 있는 연구를 진행하고 있다.

김주호 교수는 "사용자들이 믿고 활용할 수 있는 AI 검색 서비스를 만들겠다는 라이너의 서비스 철학에 공감했다"며 "기술 중심 AI의 관점을 넘어 사람 중심 AI의 관점을 담아내려면 이에 맞는 평가와 벤치마크의 수립이 필수적이다. 앞으로 라이너와 함께 사용자 중심 AI 연구를 진행하며 라이너 서비스의 효용가치 향상과 학문적 기여에 모두 힘쓸 것"이라고 말했다.

김진우 라이너 대표는 "이번 프로젝트로 상호 이익 증진은 물론, AI 검색 엔진에 대한 사용자 신뢰 향상에 기여하길 바란다"며 "연구와 동시에 라이너 AI 에이전트 기술을 고도화하고 리서치 AI 분야에서 우리의 선도적 위치를 한층 견고히 다져나갈 것"이라고 말했다.

한편 라이너는 올해 글로벌 대표 벤처캐피털 '앤드리슨호로위츠(a16z, Andreessen Horowitz)'가 발표한 가장 인기 있는 '생성 AI 소비자 앱 TOP 100'의 웹서비스 분야 4위에 오른 바 있다. 유료 구독자 중 60%는 미국 유저이며 전체 이용자의 90% 이상이 해외 유저로 글로벌 시장에서 K-스타트업의 저력을 입증해 나가고 있다.