[디지털데일리 이건한 기자] AI 언어 데이터 전문기업 플리토는 12일 한국어 초거대언어모델 성능을 비교·평가하는 'Open Ko-LLM 리더보드'에 벤치마크 데이터셋을 제공했다고 밝혔다.
해당 리더보드는 한국지능정보사회진흥원(NIA)과 업스테이지가 함께 구축하고 운영 중인 한국어 LLM(거대언어모델) 성능평가 플랫폼이다. 국내 기업과 연구기관이 LLM을 등록하고 경쟁할 수 있는 환경을 제공하며 한국형 AI 개발 및 자연어 처리 기술 발전에 기여하고 있다.
플리토는 업스테이지의 파트너사로서 ▲상식 추론과 문맥 이해 능력 ▲수학적 추론과 계산능력 등을 평가할 수 있는 벤치마크 데이터셋을 한국어로 제공했다. 이를 통해 기존 평가 항목인 ▲추론 능력 ▲상식 능력 ▲언어 이해력 ▲환각 방지 능력 ▲한국어 상식 생성 능력 등 뿐만 아니라 더 풍부한 성능 테스트 비교가 가능하게 됐다. 특히 상식 추론과 수학적 추론 항목이 추가됨으로써 국제적 리더보드인 허깅페이스의 'Open LLM 리더보드'와 평가 기준을 맞춘 상징적 의미도 갖게 됐다.
플리토는 이번 데이터셋 구축 참여를 계기로 한국어 LLM의 성능을 평가하고 향상하기 위한 고품질 언어 데이터 구축에 박차를 가할 예정이다. 그 일환으로 상용 분야에 적용된 한국어 언어모델 평가용 벤치마크 데이터 셋을 업스테이지와 함께 구축 중이다. 이는 연내 Open Ko-LLM을 통해 추가로 공개할 계획이다.
플리토와 업스테이지는 지난달 9일 업무협약을 체결하는 등 데이터 부문 협력 관계를 공고히 하고 있다. 당시 양사는 태국어, 일본어, 베트남어, 라오스어, 크메르어 등 상대적으로 언어 데이터가 부족한 아시아 권역에 대한 데이터셋 구축을 중심으로 협업하기로 발표한 바 있다.
플리토 이정수 대표는 "이번 벤치마크 데이터셋 제공을 통해 한국어 LLM 리더보드도 국제적 평가 기준을 갖춘 점은 의미가 크다"며 "다년간 쌓은 언어 데이터 구축 기술 능력을 바탕으로 한국형 AI 생태계 발전에 더욱 힘을 쏟겠다"고 말했다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
[알뜰폰경쟁력강화방안]③전광훈도 적자…설비투자 여력있는 사업자는 ‘단 한 곳’
2025-01-18 08:14:00'갤럭시S25 슬림 vs 아이폰17 에어' 두께전쟁 예고
2025-01-17 17:46:11[DD퇴근길] 美 트럼프 취임식, '쿠팡'도 간다…'피지컬: 100', 제작사 바뀐다
2025-01-17 17:33:29'갤럭시S25' 건너 뛰고…'갤S26' 스택형 배터리 탑재 '솔솔'
2025-01-17 16:17:14피지컬: 100 시즌3, 제작 'TEO'로…장호기 PD, '김태호 사단' 합류
2025-01-17 15:34:05"수학 방정식도 풀어준다"...갤럭시 S25 새로운 AI 기능 유출
2025-01-17 13:59:59[현장] 스노우메이지 매력에 ‘일시정지’… 강남 달군 던파 팝업
2025-01-17 17:33:0424시간 후 댓글창 폭파…말 많던 다음뉴스 타임톡, 이용자 불편 듣는다
2025-01-17 15:05:38[IT클로즈업] 분기점 맞은 K-게임, 신흥 시장이 해법될까
2025-01-17 15:02:12[랜선인싸] 슈퍼 E 시선으로 보는 상황별 MBTI…‘아림찌’에 맡겨요
2025-01-17 13:07:24