[디지털데일리 이건한 기자] AI 언어 데이터 전문기업플리토가 한국형 LLM(거대언어모델) 평가 플랫폼인 '오픈 Ko-LLM 리더보드'에 신규 추가된 평가 지표 구축용 데이터셋을 공급했다고 22일 밝혔다.
오픈 Ko-LLM 리더보드는 한국지능정보사회진흥원(NIA)와 업스테이지가 지난해 9월부터 공동운영 중인 LLM 성능 평가 플랫폼이다. 현재 참여 모델 수는 1500개 이상이며 AI 개발을 추진하는 기업과 연구기관 등의 참여가 지속되고 있다.
플리토가 이번에 제공한 데이터는 신규 평가 항목인 '감성평가(Ko-EQBench)'와 지시준수(Ko-nstruction Following)의 한국어 벤치마크 데이터셋이다. 지난 16일부터 적용된 감성평가 지표는 대화 맥락에서 다양한 감정과 사회적 상호작용을 이해하는 능력을 검증한다. 지시준수 지표는 주어진 지시에 따라 정확히 행동하는지를 평가한다. 플리토는 지시준수 평가의 경우 기업 전용 언어모델의 지시 이해 수준을 확인할 수 있는 가늠자가 될 것으로 기대했다.
플리토는 지난 6월 추가된 '상식 추론'과 '수학적 추론' 지표 구축에도 참여한 바 있다. 한국어 특화 LLM 평가 플랫폼인 오픈 Ko-LLM 리더보드에 지속적으로 고품질 한국어 데이터셋을 제공함으로써 한국어 LLM 신뢰성 검증 향상에 기여하고 있다.
이정수 플리토 대표는 "이번 평가 항목의 추가로 국내 생성형 AI 모델 발전이 더 앞당겨질 것으로 기대한다"며 “앞으로도 한국어 성능이 보다 객관적이고 체계적으로 평가되도록 고품질 언어 데이터 제공에 힘쓰겠다"고 말했다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
KT, AI 서비스 개편 나서나…'마이 AI 보이스' 판매 중지
2024-09-23 14:56:42SKB, 창립 27주년 맞이 자원봉사…"생태계 교란식물 제거"
2024-09-23 14:18:33KT, GSMA와 2년 연속 ‘M360 APAC’ 서울서 개최
2024-09-23 12:11:36“해외 게임사 국내 대리인 제도, 실효성은 의문… 깊은 논의 필요”
2024-09-23 16:32:16“플로에서 음악 인플루언서가 직접 만든 플레이리스트 듣자”
2024-09-23 14:49:07“반값 구독료로 법률 AI 비서 활용하세요”…로앤컴퍼니, 슈퍼로이어 프로모션
2024-09-23 14:41:30리디, 글로벌 웹툰 ‘품격을 배반한다’ 완결 시즌 연재
2024-09-23 14:26:25카카오, 전국 소상공인과 ‘프로젝트 단골’ 캠페인 진행
2024-09-23 14:18:18[종합] 어떻게→어디로 갈까…AI 품은 티맵 “데이터 사업, 올해 700억원 이상 목표”
2024-09-23 13:54:51