플리토 `한국어 LLM 평가 플랫폼` 신규 평가지표용 데이터셋 공급

실시간
뉴스

일반

플리토 '한국어 LLM 평가 플랫폼' 신규 평가지표용 데이터셋 공급

디지털데일리 발행일 2024-07-22 09:14:46

이건한 기자

URL복사

오픈ko-LLM 리더보드에 플리토가 제공한 데이터셋을 기반으로 신규 평가항목 2종이 추가됐다. (ⓒ 플리토)

[디지털데일리 이건한 기자] AI 언어 데이터 전문기업플리토가 한국형 LLM(거대언어모델) 평가 플랫폼인 '오픈 Ko-LLM 리더보드'에 신규 추가된 평가 지표 구축용 데이터셋을 공급했다고 22일 밝혔다.

오픈 Ko-LLM 리더보드는 한국지능정보사회진흥원(NIA)와 업스테이지가 지난해 9월부터 공동운영 중인 LLM 성능 평가 플랫폼이다. 현재 참여 모델 수는 1500개 이상이며 AI 개발을 추진하는 기업과 연구기관 등의 참여가 지속되고 있다.

플리토가 이번에 제공한 데이터는 신규 평가 항목인 '감성평가(Ko-EQBench)'와 지시준수(Ko-nstruction Following)의 한국어 벤치마크 데이터셋이다. 지난 16일부터 적용된 감성평가 지표는 대화 맥락에서 다양한 감정과 사회적 상호작용을 이해하는 능력을 검증한다. 지시준수 지표는 주어진 지시에 따라 정확히 행동하는지를 평가한다. 플리토는 지시준수 평가의 경우 기업 전용 언어모델의 지시 이해 수준을 확인할 수 있는 가늠자가 될 것으로 기대했다.

플리토는 지난 6월 추가된 '상식 추론'과 '수학적 추론' 지표 구축에도 참여한 바 있다. 한국어 특화 LLM 평가 플랫폼인 오픈 Ko-LLM 리더보드에 지속적으로 고품질 한국어 데이터셋을 제공함으로써 한국어 LLM 신뢰성 검증 향상에 기여하고 있다.

이정수 플리토 대표는 "이번 평가 항목의 추가로 국내 생성형 AI 모델 발전이 더 앞당겨질 것으로 기대한다"며 “앞으로도 한국어 성능이 보다 객관적이고 체계적으로 평가되도록 고품질 언어 데이터 제공에 힘쓰겠다"고 말했다.