kt클라우드, 슬라이싱 기반 AI 추론 전용 인프라 출시

실시간
뉴스

통신*방송

kt클라우드, 슬라이싱 기반 AI 추론 전용 인프라 출시

디지털데일리 발행일 2023-10-16 09:30:56

권하영 기자

URL복사

[디지털데일리 권하영 기자] kt cloud(대표 윤동식)는 슬라이싱 기술을 그래픽처리장치(GPU)에 적용한 인공지능(AI) 추론 전용 인프라 서비스 ‘AI SERV’를 출시했다고 16일 밝혔다.

AI SERV는 고성능 GPU 인프라를 각 서비스에 필요한 만큼만 분할하여 최적의 양을 사용할 수 있는 것이 특징이다. 비용 효율성뿐 아니라 성능과 호환성까지 갖췄다. AI 개발·학습을 마치고 AI 서비스를 제공 중인 AI 전문기업 또는 스타트업 등이 활용할 수 있다.

AI SERV에 적용된 슬라이싱 기술은 기존에 한 장으로 제공되던 GPU 서비스를 5분할해 0.2장 단위로 제공한다. 최소 사용 가능한 GPU 단위가 작아진 만큼 필요한 때 필요한 만큼의 인프라를 사용할 수 있어 가격 부담이 줄었고, 다양한 상황에 맞춰 탄력적이고 가변적인 활용이 가능하다는 설명이다.

kt cloud에 따르면 AI SERV는 타사의 유사 서비스 대비 성능 및 호환성 측면에서도 강점을 보인다. 엔비디아 A100 칩을 활용, 경쟁사의 최신 추론형 인프라 서비스와 비교해도 최소 두 배 빠른 연산 속도를 자랑한다. 엔비디아 쿠다(CUDA) 아키텍처 기반의 높은 호환성과 확장성도 강점이다.

kt cloud는 향후 AI SERV에 사용자의 손쉬운 인프라 확장 지원을 위한 모니터링 및 컨테이너 이미지 클로닝(Cloning) 기능 등을 추가하는 한편, 부하 발생시 인프라를 자동 확장시키는 ‘오토 스케일링’ 기능을 도입하는 등 서비스를 지속적으로 고도화해 나갈 계획이다.