[인더스트리 AI] 샌프란시스코서 입증된 ‘아키텍처 쇼크’… GPU 독주 끝내다

인공지능(AI) 인프라 시장의 스포트라이트가 엔비디아 GPU와 SK하이닉스·삼성전자의 고대역폭메모리(HBM)에 쏠린 사이, 시스템 전체의 척추이자 혈관 역할을 하는 중앙처리장치(CPU) 공급망에 기형적인 병목이 발생하고 있습니다. 거대언어모델(LLM) 학습 중심에서 자율 에이전트와 실시간 추론 시대로 패러다임이 전환되면서 호스트 CPU 수요가 급증한 반면, TSMC 선단 공정 슬롯 부족과 고다층 FC-BGA 기판 쇼티지가 겹쳐 글로벌 하드웨어 생태계가 2차 충격에 직면했습니다. 이에 <디지털데일리>는 일선 반도체 소부장 현장의 경고와 글로벌 빅테크 수장들의 분석을 바탕으로, 하반기 IT 산업 전반을 강타할 'CPU 대란'의 구조적 원인과 시장 파급 효과, 그리고 K-반도체의 기회 요인을 심층 진단합니다. [편집자주]

7월 22일(현지시간) 미국 샌프란시스코 모스콘 웨스트에서 열린 AMD의 플래그십 컨퍼런스 '어드벤싱 AI(Advancing AI) 2026' 전시장은 '차세대 AI 데이터센터 현장' 주요 부분을 그대로 가져왔다. [사진=김문기 기자]

[디지털데일리 김문기기자] 인공지능(AI) 데이터센터의 물리적 법칙과 컴퓨팅 아키텍처 공식이 근본부터 흔들리고 있다.

초기 생성형 AI가 사용자의 단발성 질의에 문장으로 답하던 단순 챗봇(Chatbot) 수준에 머물렀을 때, 데이터센터 설계의 기준은 ‘GPU’였다. 수천억 개의 파라미터를 밀어 넣고 대규모 행렬 곱셈(GEMM)을 반복 연산하는 학습(Training)과 정적 추론 단계에서는 수천 개의 GPU를 묶고, 이를 제어할 호스트 중앙처리장치(CPU)는 최소한의 규격으로만 얹어두는 것이 비용 효율 을 달성할 수 있었다.

그러나 인공지능이 스스로 상황을 판단하고, 외부 도구(API)를 호출하며, 다단계 업무를 자율적으로 완수하는 ‘에이전틱 AI(Agentic AI)’ 시대로 진입하면서 이 연산 구조는 흔들렸다. 거대 추론 토큰을 실시간으로 쏟아내고 수많은 에이전트를 유기적으로 통제해야 하는 ‘토큰 팩토리’ 환경에서 시스템의 핵심 병목이 가속기 연산력에서 호스트 CPU의 조율 능력으로 전이된 셈이다.

에이전트의 오케스트레이션 부하가 폭증하면서 데이터센터가 요구하는 CPU 코어 수는 기존 대비 4배 이상 급증했고, 이는 글로벌 서버 시장에서 인텔과 AMD의 최신 프로세서가 연내 전량 완판되는 초유의 사태로 이어졌다.

[사진=AMD]

[사진=AMD]

◆ 챗봇은 GPU로 충분하지만… 에이전트 ‘CPU의 풀스택 지휘’ 요구

에이전틱 AI 시대에 왜 유독 호스트 CPU가 모자라는 기현상이 벌어지는 것인지 살펴봐야 한다. 사실상 해답은 에이전트 연산의 고유한 알고리즘과 이기종 컴퓨팅의 데이터 흐름에 있다.

기존 LLM 추론은 사용자의 프롬프트가 들어오면 모델이 다음 토큰을 순차적으로 생성하는 단순 매트릭스 연산에 가깝다. 대규모 병렬 처리에 특화된 엔비디아의 텐서 코어 GPU가 주도권을 쥐고, 호스트 CPU는 시스템 초기 부팅과 메모리 할당만 끝내면 연산의 90% 이상이 가속기 내부(GPU-HBM)에서 종결됐다.

반면 에이전트 시스템은 '생각하고→도구를 고르고→외부 시스템을 실행하며→결과를 검증하는' 일련의 복잡한 비선형적 루프를 무한 반복한다.

예컨대 사용자가 "국내외 반도체 소부장 공급망 보고서를 실시간 검색해 재고 현황을 데이터베이스에 업데이트하고, 핵심 리스크 요인을 요약해 담당자들에게 메일로 발송하라"는 복합 지시를 내리면, AI 시스템은 단순 텍스트 생성을 멈추고 수십 번의 외부 API 호출, 검색 엔진 파싱, 사내 ERP 데이터베이스 조회, 조건문 분기 처리를 동시에 수행해야 한다.

이러한 ‘순차적 분기 예측’과 ‘비동기식 입출력(I/O) 제어’, ‘지연 시간 최소화’는 병렬 연산기인 GPU가 대신할 수 없는 CPU의 영역이다. 높은 클록 속도와 강력한 싱글·멀티스레드 제어력을 갖춘 고성능 x86 CPU 코어가 실시간으로 명령어를 지휘하지 않으면, 수억 원을 호가하는 최신 GPU 클러스터 전체가 유휴 상태로 멈춰 서며 인프라 가동률이 곤두박질치게 된다.

리사 수(Lisa Su) AMD CEO가 7월 23일(현지 시각) 미국 샌프란시스코 모스콘 웨스트에서 열린 '어드벤싱 AI(Advancing AI) 2026' 프레스 브리핑 Q&A 세션에서 차세대 AI 인프라 '헬리오스'의 구체적인 출하 일정, 글로벌 빅테크 파트너십 세부 내용, 그리고 시장 일각의 경쟁 구도 우려에 대한 명확한 비전을 제시했다. [사진=AMD]

◆ 3계층으로 분화된 CPU… 리사 수의 '헤드 노드' 승부수

이 같은 아키텍처의 격변은 지난 7월 미국 샌프란시스코에서 열린 AMD의 연례 테크 컨퍼런스 ‘어드밴싱 AI 2026(Advancing AI 2026)’ 현장에서도 입증됐다.

당시 현장에서 리사 수 AMD CEO와 엔지니어링 리더들은 차세대 가속기 인스팅트 MI400 시리즈와 함께, 랙 스케일 솔루션인 ‘헬리오스(Helios)’, 6세대 서버용 프로세서 ‘에픽 베니스(EPYC Venice)’를 전면에 내세웠다.

특히 AMD가 현장에서 제시한 데이터센터의 CPU 역할은 에이전틱 AI 시대를 맞아 크게 세 가지 계층으로 분화하고 있다.

가장 먼저 수천 개의 자율 에이전트가 독립된 공간에서 실시간으로 코드를 실행하고 외부 도구를 구동할 수 있도록 격리된 실행 환경을 제공하는 ‘에이전트 샌드박스’ 계층이 중심을 잡는다.

여기에 수십 장의 고성능 GPU 랙 전면에 배치되어 대규모 데이터 트래픽을 병목 없이 밀어 넣어주고 시스템 전체를 통제하는 오케스트레이터 역할의 ‘AI 헤드 노드’ 계층이 맞물린다.

마지막으로 기업 내부의 기존 레거시 데이터베이스(DB) 및 전사적자원관리(ERP) 시스템과 AI 에이전트 간의 방대한 트래픽을 안정적으로 연결·연동하는 ‘범용 엔터프라이즈 CPU(General-Purpose)’ 계층이 단단한 인프라 척추 역할을 수행하는 구조다.

단순 보조 연산에 머물던 과거와 달리, 호스트 CPU가 격리된 실행, 전면 지휘, 레거시 연동이라는 세 갈래의 핵심 임무를 동시에 전담하게 되면서 데이터센터 내 필수 코어 수요가 기하급수적으로 폭증하고 있다는 지적이다.

리사 수 AMD CEO는 "에이전트 AI가 폭증시키는 실시간 추론 토큰과 복잡한 이기종 데이터 흐름을 처리하기 위해서는 GPU에만 의존하던 기존 랙 설계로는 전력과 지연 시간의 한계를 넘을 수 없다"고 단언했다.

TSMC 2나노 공정 기반의 최대 256코어 에픽 베니스 프로세서가 호스트 컴퓨팅 계층에서 데이터 트래픽을 선제적으로 정리하고 분배해주어야만 72장의 MI455X GPU가 100% 제 성능을 발휘할 수 있다는 설명이다.

특히 AMD는 현장에서 엔터프라이즈 환경의 랙 단위 최적화를 강조하며, 에이전틱 AI 시대의 데이터센터 구축은 더 이상 단순 가속기 경쟁이 아닌 ‘고효율 호스트 CPU와 GPU의 결합 및 오케스트레이션 능력’으로 판가름 난다고 역설했다.

퀄컴이 미국 샌디에이고 본사에서 진행한 스냅드래곤X 시리즈 CPU 성능 측정 데모

◆ CPU-GPU-NPU-DPU 묶는 ‘오케스트레이션 병목’

에이전틱 AI의 확산은 데이터센터를 단일 가속기 중심에서 CPU, GPU, NPU, DPU(데이터처리장치)가 결합된 ‘초거대 이기종(Heterogeneous) 인프라’로 탈바꿈시켰다.

실제 정부와 국내 산업계 역시 단순 GPU 편중에서 벗어나 AMD의 CPU·GPU와 국내 팹리스의 고성능 신경망처리장치(NPU)를 결합하는 개방형 이기종 AI 인프라 실증 및 ‘인공지능 우수 연구센터(AI CoE)’ 구축을 추진하고 있다. 에이전트가 복잡한 태스크를 쪼개어 가속기(GPU/NPU)에 분배하고, 네트워크 트래픽은 DPU로 오프로딩하며, 대용량 컨텍스트 메모리는 CXL(컴퓨트 익스프레스 링크) 기반 메모리 풀링 기술로 끌어다 쓰는 고난도 작업이 실시간으로 구현되는 셈이다.

문제는 이 모든 이기종 하드웨어의 최정점에서 트래픽을 지휘하고 메모리 동기화를 통제하는 ‘총사령관’이 바로 호스트 CPU라는 점이다.

실제로 프론티어 AI 기업들의 워크로드 분석에 따르면, 복합 에이전트 시스템에서 전체 작업 지연 시간의 최대 80% 이상이 가속기 연산 시간이 아닌 ‘호스트 CPU의 데이터 전처리, I/O 스케줄링, 컨텍스트 스위칭’ 구간에서 발생하는 것으로 나타났다.

단순히 GPU만 늘려서는 에이전트 AI의 응답 속도를 개선할 수 없다. 호스트 CPU의 컴퓨팅 파워와 코어 수가 뒷받침되지 않으면 시스템 전체가 ‘오케스트레이션 병목’에 갇히게 되는 구조다.

인피니언 테크놀로지스가 AI(인공지능) 데이터센터의 효율성과 유지보수 편의성을 높이는 800V 직류(VDC) 전력 아키텍처를 개발했다

◆ "3000만 개에서 1억 2000만 개로"

글로벌 반도체 및 공급망 분석 전문 기관 세미어낼리시스(SemiAnalysis)와 시장조사업체 트렌드포스(TrendForce)의 정밀 시뮬레이션 데이터는 이 같은 구조적 변화를 수치로 보여준다.

트렌드포스 분석에 따르면, 엔터프라이즈 에이전트 클러스터에서 최적의 연산 밸런스를 맞추기 위한 CPU 대 GPU 비율은 기존 1:8 수준에서 1:1에서 최대 1.4:1(GPU 1장당 86~120개 CPU 코어 요구) 수준으로 수렴하고 있다.

특히 세미어낼리시스는 1기가와트(GW) 전력 규모의 초대형 AI 데이터센터를 가동할 때 단순 챗봇 위주의 LLM 인프라에서는 약 3,000만 개의 CPU 코어만으로도 전체 클러스터를 통제할 수 있었으나, 동일한 1GW 인프라를 에이전틱 AI 및 멀티 에이전트 오케스트레이션 환경으로 전환할 경우 필요한 CPU 코어 수가 최대 1억 2,000만 개로 무려 4배 급증한다고 분석했다.

수백만 토큰으로 확장된 컨텍스트 윈도우를 실시간으로 인덱싱하고, 수천 개의 자율 에이전트 간 통신(Agent-to-Agent Protocol)을 중개하는 시스템 부하가 호스트 CPU로 전격 집중됐기 때문이다.

아시시 나드카르니(Ashish Nadkarni) IDC 엔터프라이즈 인프라 담당 부사장은 “에이전트 AI의 도입 속도가 시장 예측치를 완전히 앞지르고 있다”며 “하이퍼스케일러들은 GPU를 더 확보하더라도 이를 지휘할 호스트 CPU 코어가 부족하면 전체 시스템 효율이 최대 40% 이상 급락한다는 물리적 병목에 부딪혔다”고 진단했다.

대만 타이베이 컴퓨텍스에 전시된 인텔 기반 로봇 [사진=인텔]

◆ 인텔 제온 6·AMD 에픽 ‘연내 전량 완판’

이 같은 아키텍처 쇼크는 인텔과 AMD의 차세대 서버용 플래그십 프로세서 시장을 어렵게 했다.

빅테크 기업들은 에이전트 워크로드를 감당하기 위해 고밀도 고효율 코어를 집적한 인텔의 ‘제온 6’와 TSMC 선단 공정 기반의 AMD ‘에픽 튜린/베니스’ 프로세서를 공격적으로 사재기하기 시작했다.

존 빈(John Vinh) 키뱅크 애널리스트는 최신 공급망 리포트를 통해 “인텔과 AMD의 2026년 서버용 CPU 생산 캐파(CAPA)는 이미 하이퍼스케일러들의 사전 장기 공급 계약(LTA)으로 인해 전량 완판 상태”라고 발표했다.

글로벌 전자부품 유통 분석 기관 퓨전 월드와이드 역시 “인텔 제온 CPU의 납기가 평년 1~2주에서 최장 22~26주까지 늘어났으며, 주요 유통 채널의 수주 이행률은 40% 수준에 머물러 있다”고 분석했다.

인텔과 AMD가 서버 CPU 단가를 10~20% 상향 조정했음에도 불구하고, 물량을 먼저 받기 위해 글로벌 기업들이 줄을 서는 기현상이 벌어지고 있는 것이다.

즉, 하반기 CPU 대란의 본질은 단순한 부품 부족이 아니라, ‘AI 인프라의 중심축이 GPU 독주에서 CPU 중심의 풀스택 오케스트레이션으로 완전히 이동’했음을 알리는 패러다임 전환의 신호탄이나 진배없다.

향후 글로벌 AI 인프라 경쟁은 단순히 연산 가속기를 얼마나 꽂느냐를 넘어, 폭증하는 CPU 코어를 어떻게 유기적으로 엮어내느냐의 싸움으로 번질 전망이다. CPU, GPU, NPU, CXL 메모리를 단일 시스템처럼 통합 제어하는 ‘토큰 팩토리 전용 OS’와 개방형 이기종 컴퓨팅 프레임워크를 확보하지 못한 기업은 막대한 GPU를 보유하고도 시스템 셧다운과 성능 저하를 피할 수 없게 되는 셈이다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지