[디지털데일리 김문기 기자] AMD는 기업 맞춤형 프라이빗 모델을 구축할 수 있는 거대언어모델(LLM, Large Language Model) 플랫폼 ‘라미니(Lamini)’의 전체 LLM 소프트웨어 스택이 AMD 인스팅트 하드웨어 및 AMD 소프트웨어로 구축 및 훈련됐다고 27일 발표했다.
기업용 LLM에 대한 높은 수요에도 불구하고 대다수 기업들은 LLM 전문성 부족 등으로 인해 실제 활용에 많은 어려움을 겪고 있다. 라미니는 지난 1년간 AMD 인스팅트 그래픽 카드를 통해 LLM을 구동해 왔으며 기업 고객으로부터 최고 수준의 성능에 대한 평가를 받았다. 또한, 기업들이 단 세 줄의 코드만으로 AMD 인스팅트 GPU에서 프로덕션 지원 LLM을 손쉽게 실행할 수 있는 방법을 제공한다.
샤론 주 라미니 CEO는 “기존 소프트웨어들과 동일하게 LLM IP를 소유하고 쉽게 사용할 수 있어야 한다”며 “AMD 인스팅트 GPU를 활용해 리드타임을 최소화하고 새로운 기회를 만들어 낼 수 있게 되어 기쁘다”고 말했다.
그렉 다이아모스 라미니 CTO는 “AMD ROCm은 라미니 소프트웨어를 사용해 LLM 용 쿠다(CUDA)와 소프트웨어 패리티(software parity)를 달성했다”며 “라미니 시스템에 인스팅트 MI250을 채택함으로써 고객들이 요구하는 대형 모델을 구동하고 최적화된 미세 조정 기능을 제공한다. MI250의 대형 HBM 용량(128GB)을 사용해 보다 확장된 모델과 A100 클러스터 대비 단순화된 소프트웨어를 선보인다”고 전했다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
아이폰16 공시지원금, 전작과 비교해보니…"기본 모델은 낮아져"
2024-09-20 19:39:53오징어게임2, 새 게임은 '이것'?…티저 영상에 '힌트' 있다
2024-09-20 19:37:56[취재수첩] 지상파 콘텐츠 가치, 제대로 산정해야 할때
2024-09-20 16:08:31“現 미디어 산업 특성 반영한 새로운 방발기금 제도 논의 필요”
2024-09-20 14:15:21SKT 에이닷·LGU+ 익시오, KT는 "검토 중" [IT클로즈업]
2024-09-20 13:43:01MBC스포츠+·CGV, 프로야구 실시간 이원생중계 나서
2024-09-20 10:04:32잠재적 리스크도 기꺼이? 크래프톤, 배그 차기작 찾아 ‘직진’
2024-09-20 13:47:19SOOP이 청년 꿈 응원하는 방법은?…“다양한 콘텐츠와 지원 제도 활용”
2024-09-20 09:26:10