업스테이지 차세대 LLM `솔라 프로` 베일 벗었다...싱글GPU 성능 `눈길`

실시간
뉴스

일반

업스테이지 차세대 LLM '솔라 프로' 베일 벗었다...싱글GPU 성능 '눈길'

디지털데일리 발행일 2024-09-11 10:09:08

이건한 기자

URL복사

[디지털데일리 이건한 기자] 업스테이지가 사전학습 거대언어모델(LLM) 차세대 버전인 '솔라 프로(Solar Pro)' 초기 테스트용 모델인 '솔라 프로 프리뷰(Preview)' 버전을 오픈소스 및 무료 애플리케이션 프로그래밍 인터페이스(API)로 공개한다고 11일 밝혔다.

솔라 프로는 솔라 LLM 시리즈 상위 모델로 올 11월 공식 출시를 앞두고 있다. 업스테이지는 이번 프리뷰 버전의 API 호출 비용까지 무상 지원할 예정이다. 영어만 지원하며 입력 토큰 수는 4096자로 제한된다.

솔라 프로는 220억(22B)개의 매개변수를 갖춰 기존 '솔라 미니(10.7B)' 대비 2배 이상 커지고 성능도 향상됐다. 하지만 업스테이지 고유의 깊이 확장 스케일링(DUS) 기술을 비롯한 자체 LLM 모델링 방법론이 더욱 고도화돼 여전히 단 1개의 그래픽처리장치(GPU)로 구동 가능한 수준이다.

최근 세계적으로 AI 구동을 위한 GPU 가격이 급등하고 수급도 원활하지 않은만큼, 동일 성능이라면 GPU 요구량이 적은 모델을 사용하는 것이 기업의 AI 비용 통제 측면에서 유리하다.

또한, 솔라 프로는 인문학뿐 아니라 과학·기술·공학·수학(STEM) 분야의 종합 지식을 평가하는 'MMLU Pro', 지시 이행 능력을 평가하는 'IFEval' 등 최신 LLM 벤치마크(성능평가) 지표에서도 솔라 미니보다 평균 51% 이상 성능이 향상됐다. 최신 지표인 MMLU Pro는 LLM 답변의 정확도를 사지선다로 평가하던 기존 방식과 달리 선택지가 10개까지 늘었으며 학부생 수준 이상의 추론을 요구하므로 훨씬 고난도로 평가되고 있다.

업스테이지에 따르면 이번 벤치마크 테스트에서 솔라 프로는 ▲마이크로소프트 '파이(Phi)-3 미디엄' ▲메타의 라마(Llama) 3.1 8B' ▲미스트랄AI-엔비디아의 '네모(NeMo)' 12B' ▲구글 젬마(Gemma)2 27B 등 등 단일 GPU에서 가동되는 유사 사이즈의 빅테크 모델을 앞섰다.

솔라 프로 프리뷰 버전과 유사 사이즈 빅테크 모델을 비교한 벤치마크 성능표. [ⓒ 업스테이지]

우선 업스테이지가 제시한 성능 비교표를 중심으로 솔라 프로 프리뷰 버전은 47.91GB의 VRAM(그래픽카드 내장 메모리) 요구량과 68.24점의 평균 성능(Average)를 보인다. 비교대상 중 사이즈가 더 큰 구글의 젬마2가 62.46GB의 VRAM 요구량, 60.52점의 평균 성능을 보인 것보다 앞서는 점이 눈에 띈다. MMLU-Pro, IFEval 개별 테스트 점수는 모두 젬마2를 크게 앞선다.

5개의 벤치마크가 진행된 추론(Resoning) 영역에선 ARC 챌린지, GPQA 2개 영역에선 젬마2에 다소 밀렸다. 이에 대해 업스테이지 관계자는 "솔라는 기업용 LLM"이라며 "현장에서는 추론보다 MML-Pro, IFEval 영역의 성능을 더 중시하는 만큼 추론보다 해당 영역에 개발력을 더 집중한 결과"라고 설명했다.

실제로 특정 분야에 대한 전문성과 정확한 답변이 요구되는 기업용 AI 시장에서 MMLU Pro, IFEval 등 최신 벤치마크 고득점은 LLM의 실제 문제해결 능력을 가늠할 수 있는 중요한 척도로 작용한다. 여기에는 ▲문서 및 보고서 작성 ▲데이터 분석 및 관리 ▲프로젝트 관리 등 기업 내 업무 영역 전반이 포함된다.

김성훈 업스테이지 대표는 "솔라 프로는 자체 기술로 개발한 솔라로 글로벌 AI 시장에 도전장을 내민 업스테이지가 더욱 야심차게 준비한 차세대 모델"이라며 "최소의 인프라 비용으로 업계 최강의 성능을 자랑하는 솔라 프로를 프리뷰 버전에서 다양하게 테스트해보길 바란다"고 말했다.

한편, 올해 1000억원 규모의 시리즈B 투자를 유치한 업스테이지는 올해 국내외에서 다양한 비즈니스를 전개했다. 특히 미국 현지에서 인텔, AWS 등 빅테크와 함께 AI 비즈니스를 진행 중이며 국내에선 신한투자증권, 메가존 클라우드 등 금융 및 클라우드 기업 등 굵직한 기업들과의 사업계약도 잇따라 발표한 바 있다.