AMD 인스팅트 HW SW, LLM 플랫폼 ‘라미니’ 지원

실시간
뉴스

소프트웨어

AMD 인스팅트 HW SW, LLM 플랫폼 ‘라미니’ 지원

디지털데일리 발행일 2023-09-27 11:02:44

김문기 기자

URL복사

[디지털데일리 김문기 기자] AMD는 기업 맞춤형 프라이빗 모델을 구축할 수 있는 거대언어모델(LLM, Large Language Model) 플랫폼 ‘라미니(Lamini)’의 전체 LLM 소프트웨어 스택이 AMD 인스팅트 하드웨어 및 AMD 소프트웨어로 구축 및 훈련됐다고 27일 발표했다.

기업용 LLM에 대한 높은 수요에도 불구하고 대다수 기업들은 LLM 전문성 부족 등으로 인해 실제 활용에 많은 어려움을 겪고 있다. 라미니는 지난 1년간 AMD 인스팅트 그래픽 카드를 통해 LLM을 구동해 왔으며 기업 고객으로부터 최고 수준의 성능에 대한 평가를 받았다. 또한, 기업들이 단 세 줄의 코드만으로 AMD 인스팅트 GPU에서 프로덕션 지원 LLM을 손쉽게 실행할 수 있는 방법을 제공한다.

샤론 주 라미니 CEO는 “기존 소프트웨어들과 동일하게 LLM IP를 소유하고 쉽게 사용할 수 있어야 한다”며 “AMD 인스팅트 GPU를 활용해 리드타임을 최소화하고 새로운 기회를 만들어 낼 수 있게 되어 기쁘다”고 말했다.

그렉 다이아모스 라미니 CTO는 “AMD ROCm은 라미니 소프트웨어를 사용해 LLM 용 쿠다(CUDA)와 소프트웨어 패리티(software parity)를 달성했다”며 “라미니 시스템에 인스팅트 MI250을 채택함으로써 고객들이 요구하는 대형 모델을 구동하고 최적화된 미세 조정 기능을 제공한다. MI250의 대형 HBM 용량(128GB)을 사용해 보다 확장된 모델과 A100 클러스터 대비 단순화된 소프트웨어를 선보인다”고 전했다.