[디지털데일리 김문기 기자] AMD(대표 리사 수) 28일(현지시간) AI 관련 개방형 컨소시엄인 ML커먼즈(MLCommons)의 웹사이트를 통해 AMD 인스팅트 MI300X GPU를 사용한 ML퍼프(MLPerf)의 첫 벤치마크 결과를 공개했다.
제출 가능한 벤치마크 유형에는 ML퍼프 인퍼런스: 데이터센터(MLPerf Inference: Datacenter), ML퍼프 트레이닝(MLPerf Training), 2024년 도입된 최첨단 대규모 젠AI(GenAI) 언어 모델인 라마 2 70B(Llama 2 70B) 등이다. AMD는 이들 중 널리 사용되는 LLM인 라마 2 70B를 채택했다.
AMD는 ML퍼프 인퍼런스 v4.1 테스트 결과에 대해 AI 작업을 위해 시중에서 판매되는 AMD CPU및 GPU의 최상의 조합이라고 자평했다. MI300X의 대용량 메모리(192GB)를 통해 단일 MI300X GPU로 전체 라마 2 70B 모델 실행이 가능함을 입증했다. AMD의 차세대 CPU를 통한 AI 작업 성능 개선도 이뤘다는 평가다.
AMD는 “ML퍼프 4.1 인퍼런스 테스트 결과는 ROCm를 기반으로 한 MI300X이 라마 2 70B와 같은 대규모 LLM에 대해 뛰어난 추론 성능을 제공함을 증명했으며, 라마 2 70B LLM이 포함된 엔비디아(Nvidia)의 H100과 같은 경쟁 제품의 테스트 결과에 대한 비교도 제공했다”고 밝혔다.
아울러 “AMD 인스팅트 MI300X GPU 가속기를 탑재한 차세대 5세대 AMD 에픽(코드명 튜린) CPU의 성능 향상을 입증했으며, 서버 시나리오에서 인텔 제온을 탑재한 엔비디아 DGX H100보다 약간 앞서고 FP8 정밀도에서 오프라인 시나리오의 경우 비슷한 성능을 유지했다”고 덧붙였다.
Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
[딜라이트닷넷] 美 대선 코앞…'광대역 지원' VS '빅테크 책무 강화'
2024-10-18 18:02:39'2인체제 의결 위법' 법원 판단에 방통위 반발…"합당하지 않아"
2024-10-18 15:31:16"양자·6G 경쟁력 확보"…정보통신 진흥·융합 활성화 실행계획 공개
2024-10-18 14:00:00CJ온스타일, 홈 에스테틱 시장 키운다…‘톰 프로그램’ 20일 온에어
2024-10-18 13:58:34"오징어게임2 온다"…넷플릭스, 올 4분기 100억달러 매출 달성 예상
2024-10-18 11:50:28스포티파이가 韓 진출 4년 만에 내놓은 이것…토종 앱에는 왜 없을까 [IT클로즈업]
2024-10-19 06:00:00[DD퇴근길] ‘제2의 티메프’ 막아라…삼성전자 임원인사 '칼바람' 부나
2024-10-18 17:10:19네이버 검색 기술, 자연어처리 분야 글로벌 학회 논문 채택
2024-10-18 16:30:20카카오모빌리티 로봇 솔루션, 신축 래미안 아파트 단지 적용
2024-10-18 09:32:56넥슨 인재 철학 고스란히… ‘넥토리얼’, 미래 키우는 요람으로
2024-10-18 09:32:35