엔비디아 H100 저격 ‘인텔 가우디3’…가성비 ‘승부’

실시간
뉴스

PC/프린팅/디바이스

엔비디아 H100 저격 ‘인텔 가우디3’…가성비 ‘승부’

디지털데일리 발행일 2024-06-04 12:00:00

타이베이(대만)=김문기 기자

URL복사

[컴퓨텍스 2024] 팻 겔싱어 인텔 CEO "생성형 AI 역량 더 빠르고 저렴해" [소부장반차장]

인텔 비전 2024에서 팻 겔싱어 인텔 CEO가 인텔 가우디 3 가속기를 소개하고 있다 [사진=인텔]

[디지털데일리 김문기 기자] 인텔(대표 팻 겔싱어)은 4일(현지시간) 대만 타이베이에서 진행된 컴퓨텍스 2024에서 데이터센터, 클라우드와 네트워크에서 에지 및 PC에 이르기까지 AI 생태계를 획기적으로 가속화할 최첨단 기술 및 아키텍처를 공개했다.

인텔에 따르면 생성형 AI의 역량을 활용하는 것은 더 빠르고 저렴해졌다. 주요 인프라인 x86은 거의 모든 데이터센터 환경에서 대규모로 운영되며, 비용 효율적인 상호운용성과 개발자 및 고객으로 구성된 개방형 생태계의 이점을 제공하면서, AI 역량을 통합하는 데 기반 역할을 한다.

인텔 제온 프로세서는 AI 워크로드에 이상적인 CPU 헤드 노드이며, AI 워크로드를 위해 특별히 설계된 인텔 가우디 AI 가속기와 함께 시스템에서 구동한다. 이를 통해 기존 인프라에 원활하게 통합된다.

대규모 언어 모델(LLM)의 훈련 및 추론을 위한 MLPerf 벤치마크 결과를 제공 가능한 엔비디아의 H100의 대안인 가우디 아키텍처는 더 낮은 총 운영 비용으로 빠른 배포 시간을 제공하는 가격 대비 성능의 이점을 제공하여 고객이 원하는 생성형AI 성능을 제공할 수 있다는 게 인텔의 설명이다.

시스템 공급업체(SP)에 제공되는 8개의 인텔 가우디 2 가속기와 범용 베이스보드(UBB)가 포함된 표준 AI 키트는 6만 5천 달러로 동급 경쟁 플랫폼 가격의 3분의 1 수준으로 예상된다. 8개의 인텔 가우디 3 가속기와 UBB가 포함된 키트는 12만 5천 달러에 판매되며, 이는 동급 경쟁 플랫폼4 가격의 약 3분의 2 수준이다.

인텔 가우디 3 가속기는 생성형 모델 훈련 및 추론 작업에서 상당한 성능 향상을 제공하여 기업이 자체 데이터의 가치를 실현할 수 있도록 지원한다. 8,192개 가속기 클러스터를 갖춘 인텔 가우디 3는 동급 규모의 엔비디아 H100 GPU 클러스터에 비해 학습 시간이 최대 40% 빠르다는 설명이다.

64개 가속기 클러스터의 경우 엔비디아 H100의 라마2 700억개(Llama2-70B) 모델에 비해 최대 15% 빠른 학습6 처리량을 제공할 것으로 예상된다. 또한, 라마2 700억개(Llama2-70B) 및 미스트랄 70억개(Mistral-7B)와 같은 LLM을 실행할 때 엔비디아 H100 대비 평균 최대 2배 빠른 추론7을 제공할 것이라고 강조했다.

인텔은 AI 시스템을 광범위하게 제공하기 위해 인텔 가우디 3를 출시하겠다고 이미 발표한 6개의 신규 공급업체를 포함해 최소 10개 이상의 글로벌 시스템 공급업체와 협력하고 있다.

이날 새롭게 합류한 협력사에는 에이수스(Asus), 폭스콘(Foxconn), 기가바이트(Gigabyte), 인벤텍(Inventec), 콴타(Quanta) 및 위스트론(Wistron)이 포함되며, 델(Dell), HPE(Hewlett-Packard Enterprise), 레노버(Lenovo) 및 슈퍼마이크로(Supermicro)와 같은 주요 시스템 공급업체를 통해 제품 공급을 확대한다.