[디지털데일리 이종현기자] 데이터 전문기업 셀렉트스타가 한국의 사회적 가치관 및 공통 지식을 기반으로 대규모언어모델(LLM)을 평가하는 데이터셋 관련 연구 논문을 발표했다.
12일 셀렉트스타는 작년 인공지능(AI) 학습용 데이터 구축 사업의 일환으로 SK텔레콤, LG, 네이버, KT와 함께 마련한 LLM 신뢰성 벤치마크 데이터를 한국과학기술원(KAIST) 김재철AI 대학원과 함께 연구를 고도화한 연구논문 ‘KorNAT’를 첫 공개했다.
셀렉트스타에 따르면 KorNAT 연구의 핵심은 특정 국가의 맞춤형 LLM이 해당 국가 구성원의 사회적 가치관 및 기본 지식과 얼마나 일치(Alignment)하는가를 평가하는 것이다.
기존 벤치마크 데이터는 LLM이 얼마나 문제를 잘 푸는지, 윤리적인 문제는 없는지 등을 다뤘지만 해당 데이터는 의견이 갈릴 수 있는 사회적 가치관과 국가 공통 교육 과정의 기본 지식체 초점을 맞춘 것이 특징이다.
해당 논문은 현재 아카이브에 등재돼 국제학술대회 ‘ACL2024’의 심사 결과를 기다리고 있다. 셀렉트스타는 이번 연구가 국내 LLM 연구의 질과 신뢰성을 한단계 높이는 역할을 할 수 있으리라 기대했다. 또 하반기에는 KorNAT 데이터셋 등 LLM 신뢰성 벤치마크 데이터를 기반으로 온라인 평가가 가능한 공개 리더보드 출시도 예정하고 있다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
"6G 상용화됐다고 말해줘"…AI, 거짓말 시험에 속수무책
2025-03-31 17:57:27소주 도수, 광고규제 때문에 계속 낮아진다? [IT클로즈업]
2025-03-31 17:57:04[DD퇴근길] 김영섭 KT 대표 "AICT 기업으로의 완전한 변화 이룰 것"
2025-03-31 17:30:50‘위험·난잡’ 공중케이블…정부, “올해 200만 해지회선 철거”
2025-03-31 17:04:28“AX가 살길” KT, 수익창출 의지 강조…구조조정·부동산 매각 논란 ‘도마위’(종합)
2025-03-31 14:38:28LG헬로비전, '헬로 리더스 어워드' 개최 …케이블TV 정책 성과 전국에 공유
2025-03-31 13:07:25[DD퇴근길] 김영섭 KT 대표 "AICT 기업으로의 완전한 변화 이룰 것"
2025-03-31 17:30:50"최애와 같이 음악 감상"…위버스, '리스닝 파티' 오픈
2025-03-31 16:29:28팀프레시, 일부 서비스 일시 중단…투자금 납입 지연 영향
2025-03-31 16:13:00오늘의집, 창사 10년 만에 첫 연간 흑자…"신사업·해외 확장 본격화"
2025-03-31 16:12:00무신사, 지난해 연매출 1조원 돌파…영업익 1028억 흑자 전환
2025-03-31 15:37:48명품 플랫폼 '발란', 결국 기업회생절차 신청…"M&A 추진"
2025-03-31 13:53:01