[디지털데일리 김문기기자] 인텔이 AI 가속기 가우디2에 대해 경쟁사인 엔비디아 H100에 견줘 성능 우위에 있으며, 그에 따른 객관적 벤치마크 결과를 공개할 수 있는 유일한 기업이라고 자신했다.
28일(현지시간) ML커먼스(MLCommons)가 업계 표준 추론(inference) 벤치마크 ‘MLPerf v4.0’ 결과를 발표한 보고서에 따르면 인텔 AMX가 포함된 5세대 인텔 제온 스케일러블 프로세서와 인텔 가우디 2 가속기에 대한 벤치마크 결과 성능에 있어 엔비디아 H100 대비 우위에 있음이 확인됐다. 이번 결과는 그간 베일에 가려져 있던 MLPerf 결과가 공개됐기에 눈길을 끈다.
제인 볼 인텔 DCAI 제품 관리 총괄 부사장은 “인텔은 가속기 및 CPU 제품 전반에 걸쳐 업계 표준 벤치마크 결과 AI 성능을 지속적으로 개선하고 있다”라며 “이번 결과는 인텔이 고객의 역동적이고 광범위한 AI 요구 사항을 충족하는 AI 솔루션을 제공하고 있음을 보여주고 있다. 인텔 가우디 및 제온 제품 모두 고객에게 즉시 제공가능한 옵션과 강력한 가격 대비 성능상의 이점을 제공한다”고 밝혔다.
인텔 가우디 소프트웨어 제품군은 널리 사용되는 LLM(대규모 언어 모델) 및 멀티모달(multimodal) 모델의 모델 적용 범위를 지속적으로 확대하고 있다. MLPerf 인퍼런스 v4.0의 경우 인텔은 최첨단 모델 스테이블 디퓨전 XL(Stable Diffusion XL) 및 Llama v2-70B에 대한 가우디 2 가속기 결과를 제출했다.
텍스트 생성 추론에 대한 높은 고객 요구로 가우디의 Llama 결과에서는 연속 일괄 처리 및 텐서 병렬 처리를 지원하는 TGI 툴킷을 사용하여 실제 LLM 확장의 효율성을 향상시켰다. Llama v2-70B의 경우 가우디 2는 각각 오프라인 및 초당 서버 토큰에 대해 8035.0 및 6287.5를 제공했다.
또한 스테이블 디퓨전 XL에서 가우디 2는 초당 오프라인 샘플 및 초당 서버 쿼리에 대해 각각 6.26 및 6.25를 제공했다.
인텔 5세대 제온 테스트 결과는 MLPerf 인퍼런스 v3.1에서 4세대 인텔 제온 프로세서 대비 기하 평균이 1.42배 향상됐다. 예를 들어 연속 일괄 처리를 포함한 소프트웨어 최적화를 갖춘 GPT-J의 경우 5세대 제온은 v3.1에 비해 약 1.8배의 성능 향상을 보였다. 마찬가지로 DLRMv2는 인텔 AMX를 활용하는 MergedEmbeddingBag 및 기타 최적화를 통해 약 1.8배의 성능 향상과 99.9의 정확도를 보였다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
“美 USTR, 해외CP에만 망사용료 요구하는 것처럼 호도”
2025-04-02 19:00:20티캐스트 이채널, 방송·디지털 아우르는 신작 라인업 공개
2025-04-02 17:48:00알뜰폰 번호이동 순증 지속, 증가폭은 활성화 정책에도 하락
2025-04-02 16:16:58[취재수첩] 무리한 공정위, 권위상실 방통위, 씁쓸한 통신3사
2025-04-02 12:15:53라인야후, 日 행정지도 마지막 보고서 제출…"지분 관계, 변화 無"
2025-04-02 18:41:33틱톡, 운명의 날 임박…"美사업권 인수, 2일 최종 처리방안 논의"
2025-04-02 17:22:47넷마블몬스터, ‘레이븐2·마퓨파’ 쌍끌이로 7년만 흑전… ‘몬길’로 분위기 잇는다
2025-04-02 17:08:20[EnTech] "하루 2만명씩 썼는데"…호황기 누렸던 노래방 앱, 현 주소는
2025-04-02 17:07:47MZ세대서 힙해진 독서열풍에…전자책 플랫폼, AI 기술로 '승부수'
2025-04-02 16:14:50나영석 PD 소속 '에그이즈커밍', 산불피해 복구 위해 1억원 기부
2025-04-02 15:22:32