[디지털데일리 이종현기자] 데이터 전문기업 셀렉트스타가 한국의 사회적 가치관 및 공통 지식을 기반으로 대규모언어모델(LLM)을 평가하는 데이터셋 관련 연구 논문을 발표했다.
12일 셀렉트스타는 작년 인공지능(AI) 학습용 데이터 구축 사업의 일환으로 SK텔레콤, LG, 네이버, KT와 함께 마련한 LLM 신뢰성 벤치마크 데이터를 한국과학기술원(KAIST) 김재철AI 대학원과 함께 연구를 고도화한 연구논문 ‘KorNAT’를 첫 공개했다.
셀렉트스타에 따르면 KorNAT 연구의 핵심은 특정 국가의 맞춤형 LLM이 해당 국가 구성원의 사회적 가치관 및 기본 지식과 얼마나 일치(Alignment)하는가를 평가하는 것이다.
기존 벤치마크 데이터는 LLM이 얼마나 문제를 잘 푸는지, 윤리적인 문제는 없는지 등을 다뤘지만 해당 데이터는 의견이 갈릴 수 있는 사회적 가치관과 국가 공통 교육 과정의 기본 지식체 초점을 맞춘 것이 특징이다.
해당 논문은 현재 아카이브에 등재돼 국제학술대회 ‘ACL2024’의 심사 결과를 기다리고 있다. 셀렉트스타는 이번 연구가 국내 LLM 연구의 질과 신뢰성을 한단계 높이는 역할을 할 수 있으리라 기대했다. 또 하반기에는 KorNAT 데이터셋 등 LLM 신뢰성 벤치마크 데이터를 기반으로 온라인 평가가 가능한 공개 리더보드 출시도 예정하고 있다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
연간 통신분쟁 전년 대비 22% 급증…”이용계약 관련 분쟁이 절반”
2025-02-21 17:39:30[DD퇴근길] 계속되는 '망 사용료 갈등'…MWC, 논의의 장으로
2025-02-21 17:28:22[IT클로즈업] ‘망 사용료 논쟁’ MWC서 재점화될까…“주요국 입장 예의주시해야”
2025-02-21 11:30:17[DD퇴근길] 제로트러스트 실제 적용사례·정부정책 한눈에
2025-02-20 17:15:10"KT·네카오·메가존 합류"…ICT기업 품은 한경협, DX 혁신 꿈꾼다
2025-02-20 15:34:56SM·카카오엔터 합작 英 보이그룹 '디어앨리스' 공식 데뷔
2025-02-21 17:28:39[DD퇴근길] 계속되는 '망 사용료 갈등'…MWC, 논의의 장으로
2025-02-21 17:28:2229CM, 상반기 ‘이구홈위크’ 전년비 거래액 2배 돌파…“주방용품·홈 패브릭 상품 추천 적중”
2025-02-21 16:24:36위메이드 ‘레전드오브이미르’, 구글 플레이 인기 1위 달성
2025-02-21 16:16:01데브시스터즈 ‘쿠키런: 모험의탑’, 일본 현지 CBT 시작
2025-02-21 14:55:42"D.P. 신드롬 한 번 더"…한준희 신작 '로드', 넷플릭스로?
2025-02-21 13:24:56