피터 챔버스(Peter Chambers) AMD 아태지역 총괄 디렉터

다양한 분야의 기술 발전을 촉진하고, 전 세계 기업들의 효율성, 비용 절감 및 수익성 개선을 주도하고 있는 AI(Artificial Intelligence) 기술은 최신 비즈니스 환경의 핵심 기반으로 자리 잡았다. AI 시스템의 구축 및 운영은 토대가 되는 기초 인프라에 의해 성공여부가 크게 좌우될 수 있고, 이러한 인프라는 AI 스택에서 가장 중요한 요소이지만, 종종 간과되는 경우도 많다.

뱅가드(Vanguard)에 따르면, 인프라는 IT 관리에서 가장 어려운 과제 중 하나이며, 기업들이 AI 프로젝트를 포기하는 가장 일반적인 요인으로 지목되고 있다. 하지만, 인프라 구축에 보편적으로 적용 가능한 단일 접근방식은 존재하지 않는다. 오늘날 IT 관리자들은 다양한 이해관계자들의 상충된 요구사항을 조율하고, 해결해야 하는 막대한 압박을 받고 있다. 동시에, 엔터프라이즈 애플리케이션에 대한 수요는 계속 증가하고 있다. 전통적인 온라인 트랜잭션 프로세싱 시스템에서 고도로 상호작용하는 클라우드 네이티브 애플리케이션에 이르기까지, 모든 시스템들이 더 많은 데이터를 처리할 수 있는 더 뛰어난 CPU 컴퓨팅 성능을 필요로 하고 있다.

이러한 상황에서, 조직 전반에 AI 도입 여부를 계획하고, 실행하기 위해서는 상호 보완적이며, 총체적인 접근 방식이 필요하다.

특히, 기존 인프라가 목적에 적합한지, 그리고 업그레이드를 통해 유의미한 투자수익(ROI: Return on Investment)을 얻을 수 있는지 등에 중점을 두고 AI 도입의 중요도와 적합성을 판단해야 한다. 이를 통해, 기업은 제한된 리소스를 과도하게 확장하는 것을 방지하고, AI의 잠재력을 최대한 실현할 수 있는 전략적이고 유의미한 방식으로 리소스를 활용할 수 있다.

AI는 단일 워크로드나 적용사례로 구성되지 않는다. 일상적인 추론에서 복잡하고 데이터 집약적인 모델 학습에 이르기까지 다양한 작업을 포함하게 된다. 오늘날 AI는 산업 전반에 걸쳐 혁신, 효율성, 경쟁력을 견인하는 핵심 툴로 자리매김하고 있다.

우선, 첨단 분석 및 통찰력을 바탕으로 의사결정을 강화하여 인적 역량을 보완함으로써 직원들이 보다 높은 가치의 작업에 집중할 수 있도록 지원한다. 해석형 AI 시스템과 챗봇, 가상비서 및 개인화된 추천 기능을 통해 고객 경험과 응답성 및 정확도를 향상시킨다.

데이터에 대한 통찰력과 첨단 알고리즘을 활용해 새로운 제품과 서비스 개발을 지원하고, 생성형 AI 시스템을 통해 연구 및 인사이트 도출 시간을 단축한다. 개인화 및 가격 최적화 엔진과 같은 적용 사례에서 머신러닝(ML: Machine Learning) 시스템으로 데이터의 패턴과 이상징후를 분석하고, 사기 및 사이버 위협 탐지를 개선하여 위험 관리 및 완화 능력을 강화한다.

이와 같은 다양한 AI 애플리케이션을 지원하기 위해서는 각기 다른 인프라 구축이 필요하며, 엔터프라이즈 아키텍처 팀은 특정 용도에 맞게 최적화된 접근방식을 채택하는 것이 중요하다.

더욱이, AI 인프라에 대한 요구사항이 조직의 역량을 초과하면서 운영 환경에 배포되는 광범위한 AI 프로젝트와 기능을 지원하는데 제약이 따르고 있다. AI 기반 적용 사례는 점점 더 다양해지고 있으며, 이미 많은 기업들이 수백 개의 AI 모델을 운용 중이다. 운영 환경에 AI를 활용하는 기업들을 대상으로 실시한 뱅가드의 조사 결과에 따르면, 기업당 평균 125개의 모델이 사용 중이며, 이러한 모델을 학습시키는데 총 1페타바이트(PB) 이상의 데이터가 필요한 것은 물론, 대부분의 기업들이 향후 AI 워크로드 요구사항이 더욱 증가할 것으로 예상하고 있는 것으로 나타났다.

이러한 AI 워크로드가 지속적으로 확장하는 환경에서 중요한 병목 요인으로 인프라 문제가 대두되고 있다.

AI를 효과적으로 지원하기 위해서는 고성능 컴퓨팅과 효율적인 데이터 처리, 안정적인 네트워킹이 필수적이다. 그러나 모든 AI 워크로드가 동일한 수준의 리소스를 요구하는 것은 아니다. 일반적으로 소규모 AI 워크로드는 범용 프로세서(CPU)로 처리할 수 있는 반면, 대규모 학습 모델과 같은 특수 애플리케이션은 고급 가속기(예: GPU)가 필요하다.

IT 리더들은 AI 지원 인프라의 계획 및 구축을 위해 엔터프라이즈 아키텍처 팀은 비즈니스에 필요한 AI 적용 사례를 면밀히 평가해야 한다. 또한 워크로드에 부합하는 올바른 인프라를 설계할 수 있도록 CPU와 GPU를 균형 있게 배치해야 한다. 인프라 및 운영 팀은 민감한 데이터를 보호하기 위해 온프레미스에서 AI 워크로드를 실행하는 ‘프라이빗 AI’ 구현을 고려해야 한다.

AI 워크로드가 계속 증가함에 따라, 기업들은 비용 효율적인 인프라 전략에도 주목해야 한다. AI 워크로드를 운영하는 데이터센터는 상당한 양의 에너지를 소비한다. 따라서 엔터프라이즈 아키텍처 팀은 에너지 효율적인 프로세서를 선택하고, 냉각 솔루션에 대한 투자와 운영 비용을 관리할 수 있는 지속 가능한 실행 방안을 도입해야 한다.

아울러, 강력한 AI 인프라를 구축하기 위해서는 컴퓨팅, 스토리지 및 네트워킹 리소스에 대한 가시성을 확보해야 한다. 인프라 및 운영 팀은 데이터센터에 옵저버빌리티(Observability, 관찰 가능성) 툴을 도입하여 기업이 리소스 사용 패턴을 파악하고, AI 수요 증가에 따라 인프라를 원활하게 확장할 수 있도록 지원해야 한다.

기업들은 AI 워크로드의 변화하는 요구사항에 부합하는 인프라 환경을 조성하기 위해 실용적인 접근 방식을 취해야 한다. 이를 위해 광범위한 신규 인프라 구축 없이 데이터센터의 효율성과 성능을 향상시킬 수 있도록 설계된 핵심 프레임워크를 고려해야 한다

첫번째로 기존의 노후화된 서버를 보다 효율적인 최신 시스템으로 교체하여 공간 및 에너지 절감을 극대화해야 한다. 예를 들어, 새로운 ‘젠 5(Zen 5)’ 코어 아키텍처는 ‘젠 4’ 대비 엔터프라이즈 및 클라우드 워크로드에서 최대 17% 더 높은 IPC(Instructions per Clock)를 제공하며, AI 및 고성능 컴퓨팅(HPC)의 경우 최대 37% 더 높은 IPC를 제공한다.

다음으로, 하이브리드 클라우드 전략을 활용해야 한다. 강도와 규모가 다양한 워크로드의 경우, 가상화 및 컨테이너화된 환경을 통해 유연한 솔루션을 제공한다. 기업들은 프라이빗 및 하이브리드 클라우드 전략을 병행하여 불필요한 리소스 할당을 방지하면서도 AI 애플리케이션을 효과적으로 확장할 수 있다.

가속기 리소스에 대한 균형 잡힌 투자도 병행돼야 한다. 조직은 특정 워크로드 요구사항에 따라 적정 수준의 코프로세서(GPU)에 대한 투자를 고려해야 한다. 가속기와 고성능 CPU의 적절한 조합으로 최적의 성능을 유지하면서도 비용을 절감할 수 있다.

AI 워크로드를 처리하기 위해 적절한 CPU와 GPU를 선택하는 것은 매우 중요하다. SPECrate 2017_int_base 범용 컴퓨팅 성능을 이용한 벤치마크 사례를 보면, AMD의 최신 5세대 에픽(EPYC) 프로세서와 인스팅트(Instinct) 가속기를 선택해 데이터센터를 현대화한 기업들은 경쟁사의 구형 프로세서를 계속 사용하는 것보다 전력소모는 약 71%, 서버 수는 약 87%까지 줄일 수 있는 것으로 나타났다.

이를 통해 CIO들은 공간 및 전력 절감의 이점을 누리거나, 일상적인 IT 작업에 성능을 추가하는 동시에, 뛰어난 AI 성능을 제공할 수 있는 유연성을 확보할 수 있다.

궁극적으로, CIO들은 팀이 실용적인 접근 방식을 취하도록 요구해야 한다. 이를 위해서는 AI가 단일 형태가 아니라는 것을 인정하는 것이 중요하다. AI 워크로드와 적용 사례는 대규모 또는 소규모의 독립적인 워크로드를 비롯해 적용 사례, 그리고 다른 워크로드 내의 기능들이 복합적으로 결합된 매우 다양한 형태로 활용된다.

확산하는 AI 워크로드를 효과적으로 관리할 수 있는 가장 최적의 방법은 해당 작업의 특정 요구사항에 따라 프로세서와 가속기를 적절히 조합하여 목적에 부합하는 접근방식을 취하는 것이다. AI 지원 환경을 구축하는 과정은 신중한 계획과 전략적 투자가 필요하다. IT 조직은 조직 내부는 물론, 이해관계자들에 대한 교육을 통해, 정보를 기반으로 AI 인프라에 대한 결정을 내려야 하며, 이를 통해 AI 워크로드의 특정 요구사항을 충족할 수 있는 최적의 기술 조합을 선택할 수 있다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지