[IT백과] 너도나도 외치는 ‘AIDC’, 일반 데이터센터와 뭐가 다를까

실시간
뉴스

e비즈*솔루션

[IT백과] 너도나도 외치는 ‘AIDC’, 일반 데이터센터와 뭐가 다를까

디지털데일리 발행일 2025-04-01 13:54:30

권하영 기자

URL복사

정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다. IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다. IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리의 'IT백과'를 참고하세요. <편집자주>

[디지털데일리 권하영기자] 인공지능(AI) 기술혁신은 AI 연산 규모가 클수록 성능도 향상된다고 하는 스케일링 법칙에 의해 대규모 AI 인프라 경쟁과 함께 이뤄져 왔다. 아마존웹서비스(AWS)와 마이크로소프트(MS), 구글, 메타 등 주요 빅테크들이 막대한 투자를 들여 전세계 곳곳에 AI 데이터센터를 짓는 이유가 바로 그것이다.

AI 개발을 위해서는 고성능 연산과 대량 데이터 처리가 필수적이며, 이는 기존에 단순한 데이터 저장소로서 기능했던 데이터센터 인프라로는 한계가 있는 작업이었다. 이에 방대한 데이터를 저장할 수 있고, 고성능 연산을 처리하면서, 저지연 네트워크를 제공하는 ‘AI 데이터센터’가 AI 시대 핵심 인프라로 부상했다.

일반적인 데이터센터는 범용 서버·스토리지·네트워크 장비를 설치해 데이터를 저장하고 일반적인 트랜잭션을 처리함으로써, 웹사이트나 애플리케이션 서비스를 운영하는 목적으로 이용된다. 그러므로 전력 사용량이 많지 않고 고도의 냉각 기술도 필요하지 않아 에너지효율 및 냉각 시스템도 표준적인 수준에 머무른다.

그동안 기업이 직접 온프레미스 형태로 구축하고 운영하는 데이터센터가 이러한 모습이었으며, 통신사(ISP)나 클라우드서비스제공사(CSP)들이 코로케이션으로 제공하는 인터넷데이터센터(IDC)도 마찬가지였다. 보다 고집적·고사양 서버 및 인프라를 구축해 클라우드 컴퓨팅에 최적화된 클라우드데이터센터(CDC) 개념도 생겨났지만, 최근에는 기술 발전과 클라우드 서비스 대중화로 구분의 의미가 크게 없어졌다.

그럼에도 일반적인 데이터센터와 비교해 AI 데이터센터는 연산 성능, 에너지 효율, 네트워크 속도, 보안 수준 등 모든 면에서 훨씬 고도화된 기술적 요구사항을 가진다. 애초에 AI 데이터센터는 대규모 AI 모델을 학습시켜 AI 서비스를 실시간으로 구동하는 데 최적화돼 있기 때문이다.

AI 데이터센터를 이루는 구성요소는 크게 ▲고성능컴퓨팅(HPC) 인프라 ▲초고속·초저지연 네트워크 ▲강화된 보안 환경 ▲고밀도 전력을 위한 냉각 기술 등으로 꼽힌다.

우선, AI 데이터센터는 고성능 AI 연산을 위해 첨단 그래픽처리장치(GPU) 또는 텐서처리장치(TPU) 등을 대거 수용하면서, AI 학습·추론 과정의 방대한 연산량을 감당할 수 있도록 대규모 병렬 연산이 가능한 고성능컴퓨팅(HPC) 인프라로 설계돼야 한다. AI 서비스는 실시간 데이터 송수신이 중요하므로 초고속·초저지연 데이터 전송이 가능한 고성능 네트워크 환경도 갖춰야 하며, AI 모델과 민감한 데이터를 다루기 때문에 기존 데이터센터보다 더 강화된 보안 체계가 따라붙어야 한다.

이러한 고성능 연산 과정에서는 막대한 전력 소비가 발생하므로 발열을 제어하고 에너지효율을 높이는 냉각 기술이 무엇보다 중요하다. 엔비디아 H100 기준 서버랙 1대의 전력소비량은 40킬로와트(kW) 수준으로, 그보다 약 25배 성능을 발휘한다는 차세대 칩 블랙웰 기반 신형 장비의 경우 랙당 120kW 이상 전력이 소비된다. 이는 찬 공기로 열을 식히는 공랭식 냉각이 일반적이던 기존 데이터센터와 달리, AI 데이터센터에서 열관리 효율이 훨씬 뛰어난 수랭식 냉각 기술이 필수가 된 이유다.

AI 데이터센터는 AI 모델을 학습시키느냐 추론시키느냐에 따라 학습형 데이터센터와 추론형 데이터센터로 구분되기도 한다. 전자는 대규모 데이터를 사용해 모델을 학습시키는 과정이므로 복잡한 연산을 뒷받침해줄 고성능 GPU와 같은 특수 하드웨어와 전력 인프라가 훨씬 중요해진다. 후자는 이미 학습된 모델로 새로운 데이터에 대한 예측을 수행하는 곳이므로 상대적으로 연산과 전력 부담이 적다.

지금까지 AI 기술 발전은 주로 학습에 치중돼 왔는데, 이 때문에 엔비디아·AMD 등의 기업들이 개발하는 AI 전용 칩 수요가 가파르게 증가하고 있다. 다만 최근에는 하이퍼스케일러들이 AI 추론 모델 개발로 눈을 돌리면서 이 같은 흐름에 변화가 올 수 있다는 전망도 있다. 저비용으로 고성능 AI를 개발해 시장에 충격을 준 딥시크가 개발한 AI 모델 ‘딥시크-R1’ 역시 추론형 모델이었다.

전세계적으로 빅테크들의 AI 데이터센터 구축 경쟁이 활발해지면서, ESG(환경·사회·지배구조)와 데이터주권(Data Sovereignty) 등의 요소도 갈수록 부각될 것으로 보인다. 재생에너지 사용과 탄소배출 절감 기술, 친환경 냉각 시스템이 데이터센터 운영의 중요 요소로 자리 잡는 한편, 데이터주권을 위해 지역별 데이터센터 구축과 각국 규제에 맞춘 현지 데이터센터를 확대하는 추세가 계속될 전망이다.