파네시아, `2024 OCP 글로벌 서밋`서 CXL 탑재 AI 클러스터 RAG 가속 데모 공개

실시간
뉴스

반도체

파네시아, '2024 OCP 글로벌 서밋'서 CXL 탑재 AI 클러스터 RAG 가속 데모 공개

디지털데일리 발행일 2024-09-27 09:35:01

고성현 기자

URL복사

파네시아의 CXL 탑재 AI 클러스터. 각 장치에 탑재된 CXL 3.1 스위치가 장치를 연결하는 역할을 한다 [ⓒ파네시아]

[디지털데일리 고성현 기자] 파네시아(대표 정명수)가 미국 캘리포니아주 새너제이에서 내달 15일부터 17일까지 열리는 '2024 OCP 글로벌 서밋'에 참여, 세계 최초로 CXL 3.1 스위치를 활용한 CXL 탑재 AI 클러스터를 공개한다고 27일 발표했다.

OCP 글로벌 서밋은 세계 최대 규모 데이터센터 하드웨어 개발 협의체인 OCP가 주최하는 행사로,다. 관련 글로벌 기업이 대거 참가해 비용 효율적이며 자원 관리가 용이한 데이터센터 IT 인프라 구축에 대해 논의하는 자리다.

파네시아는 AI가 핵심 주제인 올해 행사에서 CXL를 탑재한 AI 클러스터를 활용해 챗GPT 등 서비스에 활용되는 검색증강생성(RAG)을 가속하는 데모를 공개한다. RAG는 챗GPT를 개발한 오픈AI와 마이크로소프트가 앞다퉈 개발 중인 차세대 대규모언어모델(LLM) 중 하나로, 기존 LLM이 가지고 있던 환각(Hallucination) 현상을 최소화한 응용 기술이다.

회사 관계자는 "파네시아가 공개한 CXL 탑재 AI 클러스터를 활용한 RAG 가속 데모는 RAG 의 전 과정을 다양한

타입의 CXL 장치를 통해 효과적으로 가속한다"며 "탐색 과정의 경우 CXL 로 확장된 넓은 메모리를, LLM 의 경우 CXLGPU 를 통해 효율적으로 가속할 수 있다"고 설명했다.

파네시아의 CXL 탑재 AI 클러스터는 CXL-메모리 노드와 CXL-GPU 노드가 연결된 형태의 기술이다. CXL-메모리 노드에는 CXL 메모리 확장장치가 다수 장착돼 대용량 메모리를 제공하며, CXL-GPU 노드에는 CXL-GPU 장치가 집약적으로 장착돼 AI 연산을 가속하는 형태를 띤다. 클러스터에 장착된 CXL 장치는 파네시아의 설계자산(IP)이 내재되며, 이 IP를 통해 장치 간 통신 과정을 최적화해 성능 저하가 없는 메모리 확장을 가능케 한다.

파네시아는 CXL 3.1 스위치를 통해 GPU(Type 2), 메모리(Type 3)와 같은 이종의 장치 타입을 하나의 시스템으로 구현했다고 설명했다. 특히 CXL 3.1 스위치는 기존 CXL 2.0 스위치와 달리 고확장성 기능을 지원해 여러 서버 간 연결이 가능하다고 전했다. 해당 CXL 3.1 스위치 칩은 파네시아의 핵심 제품으로 내년 하반기 고객사들에게 공급될 예정이다.

파네시아 관계자는 "CXL 3.1 스위치와 고성능 CXL IP 를 활용하면 수십, 수백대의 장치들을 연결할 수 있어 RAG 와 같은 최신 AI 응용들을 데이터센터 수준에서 효과적으로 가속할 수 있다"며 "이번 OCP 글로벌 서밋 출품을 통해 기존 협업을 진행하던 글로벌 기업들과의 관계를 확고히 다지고, 새로운 고객사를 확보하고자 한다"고 말했다.