[디지털데일리 이종현기자] 업스테이지가 대규모언어모델(LLM)을 자체적으로 테스트할 수 있는 플랫폼을 무료로 공개했다.
인공지능(AI) 스타트업 업스테이지는 자사가 개발한 노코드 LLM 종합 평가 플랫폼 ‘이벨버스’를 무료로 공개한다고 3일 밝혔다. 이벨버스는 오픈소스 형태로 깃허브에 공개돼 누구나 활용할 수 있다.
업스테이지에 따르면 통상 LLM 성능 평가에는 특정 데이터셋을 기준으로 응답 정확도를 기록한 ‘벤치마크’ 지표를 활용한다. 모델의 추론, 상식, 언어 이해 능력 등 6개 부문을 측정하는 허깅페이스 ‘H6’ 지표를 포함해 대화 능력 지표 ‘MT-bench’, 감성 평가 지표 ‘EQ-bench’, 및 지시 이행 능력 지표 ‘IFEval’ 등이 주요 벤치마크로 꼽힌다.
업스테이지는 주요 벤치마크를 통합해, 언어모델 성능을 종합적으로 테스트할 수 있는 자체 평가 플랫폼을 개발했다. 특정 벤치마크를 테스트하기 위해 해당 플랫폼에 모델을 제출할 필요 없이 이벨버스를 활용하면 여러 벤치마크 테스트를 동시에 진행할 수 있다는 설명이다.
업스테이지 이벨버스는 업무용 메신저 ‘슬랙’에 애플리케이션프로그래밍인터페이스(API) 챗봇 형태로 연동된다. 슬랙에서 이벨버스 챗봇과 1:1 대화를 통해 모든 평가 과정을 간소화한 것이 특징이다. 이용자들은 ‘호출’, ‘평가’ 등 채팅창에 단 2개의 명령어만 입력하면 바로 원하는 모델을 호출해 테스트할 수 있다. 벤치마크별 점수에 대한 종합 리포트까지 확인할 수 있어 모델 간 비교 평가도 가능하다.
업스테이지는 이번 이벨버스 오픈소스 공개는 생성형 AI 생태계의 발전과 상생을 위한 노력의 일환이다고 강조했다.
업스테이지 김성훈 대표는 “누구나 자신이 개발한 LLM을 쉽게 테스트해 볼 수 있는 이벨버스 플랫폼을 무료로 공개하게 되어 기쁘다”며 “앞으로 업스테이지는 글로벌 생성형 AI 시장의 선두주자로서 LLM 생태계 발전과 확산을 위해 다양한 노력을 지속해 나갈 것”이라고 말했다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
과기정통부, SKT 침해사고 1차 조사결과 발표…"IMEI 유출은 없어"
2025-04-29 14:12:50SKT, 황금연휴 앞두고 비상…유심보호서비스 2.0 나온다
2025-04-29 10:45:09“SKT 해킹, 9.7GB 유출 가능성”…정보보호인증 제도 실효성 지적도
2025-04-29 10:44:36CJ온스타일, 제2의 에이피알 키운다…K뷰티 강자 ‘비나우’ 30억원 투자
2025-04-29 10:44:13정부, 유무선통신장비 정비 2단계 사업 돌입...“거리 미관·안전 사수”
2025-04-29 10:30:00KT, 공공분야 맞춤 AX 특화 사업 공략…한글과컴퓨터와 동맹
2025-04-29 09:58:14문화사업 30주년 CJ ENM…"온리원 정신 되새겨 글로벌 원년 도약"
2025-04-29 10:50:08캐치테이블, 권재홍 전 배민 COO 영입…“요식업 슈퍼플랫폼 도약 본격화”
2025-04-29 10:46:23[일문일답] 네이버 멤버십에 넷플 추가했더니…"3040 男 닫힌 지갑 열렸다"
2025-04-29 10:40:21SOOP, 1분기 영업익 전년비 14.8%↑…광고·플랫폼 '쌍끌이'
2025-04-29 10:09:56카카오엔터 팬플랫폼 '베리즈', 몬스타엑스·아이유 커뮤니티 연다
2025-04-29 09:12:11