엔비디아가 그리는 AI 로드맵은…“추론서도 고성능 GPU 필요”

실시간
뉴스

통신*방송

엔비디아가 그리는 AI 로드맵은…“추론서도 고성능 GPU 필요”

디지털데일리 발행일 2025-03-25 16:10:59

강소현 기자

URL복사

'블랙웰→루빈→파인만'…새로운 아키텍처, 2년마다 발표

엔비디아 코리아 정소영 대표가 25일 오후 서울 롯데호텔에서 과학기술정보통신부(장관 유상임, 이하 ‘과기정통부’)와 정보통신산업진흥원(이하 ‘NIPA’) 주최로 진행된 ‘AI 글로벌 컨퍼런스’(이하 ‘컨퍼런스’)에서 오프닝세션을 진행하고 있다.

[디지털데일리 강소현기자] “(AI 추론에서) 레이턴시(Latency)와 쓰루풋(throughput)의 최적의 밸런스를 찾는 것이 엔비디아의 AI(인공지능) 컴퓨팅 시스템의 발전 방향입니다.”

엔비디아 코리아 정소영 대표<사진>는 25일 오후 서울 롯데호텔에서 과학기술정보통신부와 정보통신산업진흥원(NIPA) 주최로 진행된 ‘AI 글로벌 컨퍼런스’에서 “트레이닝(학습)과 비교해 인퍼런스(추론)에선 강력한 성능의 GPU(그래픽처리카드)가 필요없다고 여겨졌지만, 데이터센터(DC) 관점에서 보면 그렇지 않다”라며 이 같이 밝혔다.

이날 컨퍼런스는 ‘엔비디아 GTC(GPU Technology Conference) 2025’의 주요 내용을 주제로 한 오프닝 세션으로 시작됐다. 지난주 미국 산호세에서 개최된 GTC는 엔비디아가 주최하는 AI 및 GPU 컨퍼런스로, 관련한 자사의 비전을 발표하는 자리다.

이 자리에서 정 대표는 데이터센터 내 AI 추론 워크로드 효율화의 중요성을 강조하며, 이를 위한 엔비디아의 노력들을 공유했다. 데이터 처리에서의 속도와 질 간의 최적의 균형점을 찾겠다는 것이 핵심이다.

정 대표는 “AI 추론의 경우 여러 유저들 혹은 여러 서비스들에 대한 요청이 합쳐져 데이터센터 단위의 결과를 만들어낸다”라며 “즉, 결과적으로 초당 처리한 인퍼런스 리퀘스트의 수를 의미하는 쓰루풋(데이터 처리량)이 높다고 해서 개별 서비스의 질이 좋은 것은 아니다”라고 말했다.

특히, 그는 데이터센터를 은행에 빗대면서 “많은 고객들이 은행 창구에 몰려든다고 가정하고 각 창구에서 초당 몇 명에 서비스를 제공할 수 있는지 보게 된다면, 초당 처리 가능한 건수가 많아지면 개별 사용자에 대한 서비스의 품질은 떨어질 수 밖에 없다. 반대로 한 명에게 좋은 서비스를 제공하려면 개별 사용자에 대한 서빙 시간이 길어진다”라며 “즉, 쓰루풋과 개별 유저에 대한 서비스 질 간 밸런스를 찾는 것이 중요하다”라고 강조했다.

이를 위해 엔비디아가 하드웨어와 소프트웨어 측면에서 어떻게 개선을 이뤘는지에 대한 내용도 이날 공유됐다.

AI 추론 모델의 효율 극대화하는 오픈소스 라이브러리 ‘엔비디아 다이나모(NVIDIA Dynamo)’를 출시하고, 기존 호퍼(Hopper) 대비 40배 강력한 성능을 제공하는 블랙웰 칩을 공개했다.

광 섬유가 내재된 네트워크 스위치도 선보였다. 기존의 광 트랜시버가 전력 소모가 높다는 지적이 이어진 가운데, 스위치와 광 섬유를 직접 연결해 데이터의 전송 효율을 높인 것이다.

향후 엔비디아의 로드맵도 공개됐다. 당장 올 하반기 기존보다 컴퓨팅 성능 약 1.5배, 메모리 용량 약 1.5배, 속도가 약 2배 상향된 ‘블랙웰 울트라’를 선보인다.

내년에는 새로운 아키텍처 시리즈인 ‘베라 루빈’을 양산한다. 전작과 다르게 HDM4 메모리가 탑재된 것이 특징으로, 고객이 약 3배 높아진 컴퓨팅 성능을 체감할 것으로 기대됐다. 이어 2027년 공개되는 ‘루빈 울트라’는 한 서버 당 576개의 GPU가 탑재되어, 올 하반기 공개될 ‘블랙웰 울트라’보다도 14배 향상된 속도를 구현할 전망이다. 2028에는 차세대 아키텍처 시리즈 ‘파인만’ 출시가 예고됐다.

정 대표는 “새로운 아키텍처를 2년마다 한번씩 발표하고, 매년 새로운 신제품을 내놓겠다는 것이 이번에 새로 발표한 엔비디아의 미래 방향성”이라며 “엔비디아의 여러 플랫폼들이 한국의 AI 기술 발전에 많은 도움 되길 바란다”고 말했다.