업스테이지 LLM ‘솔라’ 개발 논문, NLP 학회서 채택

실시간
뉴스

솔루션

업스테이지 LLM ‘솔라’ 개발 논문, NLP 학회서 채택

디지털데일리 발행일 2024-03-29 09:33:25

이종현 기자

URL복사

[디지털데일리 이종현기자] 업스테이지가 메타의 오픈소스 대규모언어모델(LLM) ‘라마2(Llama2)’를 기반으로 만든 ‘솔라(Solar)’의 개발 논문이 미국전산언어학회(NAACL)에 채택됐다.

업스테이지는 자연어처리(NLP) 분야에서 ACL, EMNLP와 함께 3대 학회로 꼽히는 NAACL에 자사의 LLM 솔라에 대한 개발 논문이 채택됐다고 29일 밝혔다. 6월16일부터 21일까지 멕시코시티에서 열리는 학회서 발표될 예정이다.

해당 논문은 ‘깊이 확장 스케일링(DUS’이라는 기법으로 LLM의 깊이 차원을 확장해 모델 규모를 늘리는 새로운 방법론을 제시했다. 업스테이지는 라마2 아키텍처인 ‘미스트랄 7B’를 기반으로 DUS 기법을 적용해 107억개 매개변수로 구성된 ‘솔라 10.7B’ 모델을 개발했다.

업스테이지 김성훈 대표는 “세계 최고 수준의 언어모델 솔라를 개발한 업스테이지의 기술력을 글로벌 탑티어 학회에서 인정받게 되어 기쁘다”며 “앞으로 업스테이지는 세계 최고 AI 기술력을 토대로 국내는 물론 해외 시장을 주도할 수 있는 강력한 LLM 개발에 힘쓸 것”이라고 말했다.