[AI트랜스포메이션④] 효성인포메이션시스템, 고성능 AI 분석 위한 HPC 인프라 전략은?

실시간
뉴스

하드웨어

[AI트랜스포메이션④] 효성인포메이션시스템, 고성능 AI 분석 위한 HPC 인프라 전략은?

디지털데일리 발행일 2023-10-04 10:17:46

이상일 기자

URL복사

[디지털데일리 이상일기자] 최근 생성AI가 뜨거운 키워드로 떠오르는 가운데 데이터가 다시 주목받고 있다.

AI 기반 데이터 분석은 기업 비즈니스의 필수요소로 자리잡았다. 특히 폭증하는 데이터 속 AI 분석의 정확성을 높이고 빠른 인사이트 확보를 위해 데이터 수집과 관리가 더욱 중요해졌다. 무엇보다 그동안 '핫데이터', '콜드데이터' 등 사용과 쓰임새에 의해 구분되던 데이터가 AI라는 용광로를 만나 전혀 다른 데이터 활용 가치를 찾는것이 중요해진 상황이다.

이에 따라 데이터의 저장소라 할 수 있는 스토리지에 대한 관심도 뜨겁다. 특히 GPU 기반 HPC(고성능 컴퓨팅) 분석 환경이 늘면서 이를 뒷받침하는 고성능 데이터 저장소의 도입도 활발해지고 있다.

AI 시스템에 고속으로 정확하게 데이터를 공급하고 분석하려면, 서버 외에 스토리지나 네트워크도 고성능의 요건을 반드시 충족해야 한다. 특히 스토리지의 경우에는 고속 처리를 위해 하드디스크보다 NVMe 플래시를, 방대한 양의 데이터를 더욱 고성능으로 저장하기 위해 병렬 분산 파일 시스템을 권장하는 추세다.

따지고 보면 기업 엔터프라이즈 시스템에 있어 스토리지는 필수불가결한 존재인 동시에 비즈니스 민첩성과 회복력을 결정짓는 화두 중 하나였다. 이러한 스토리지는 AI시대를 맞아 한 층 더 도약하고 있는 셈이다.

◆효율적인 데이터 관리 위한 고성능 솔루션 필요해져=효성인포메이션시스템은 초고성능 병렬 파일 스토리지 ‘HCSF(Hitachi Content Software for File)’를 통해 고성능 데이터 분석과 저장, 활용을 고객 맞춤형으로 제공한다.

HCSF는 병렬 파일시스템과 오브젝트 스토리지를 통합한 파일 스토리지로, 오브젝트 스토리지의 가용량과 클라우드 기능을 갖추면서도 분산 파일 시스템 속도를 제공하며, 멀티 프로토콜을 지원해 데이터 수집이 편리하다. 특히 정책 기반 티어링 파일 시스템 운영으로 비용 효율적으로 데이터를 관리할 수 있다.

HCSF는 AI/ML, 고성능 데이터 분석 등 최신 엔터프라이즈 워크로드에 적합한 데이터 처리 환경을 제공한다. 실시간 데이터 처리를 위한 고속 네트워킹 기술이 적용되고, NVMe 스토리지와 오브젝트 스토리지 간 오토 티어링이 적용된다. 최대 EB(엑사바이트) 규모의 데이터까지 확장 가능한 병렬파일시스템과, 무제한 확장 가능한 오브젝트 스토리지 데이터에 신속하게 액세스할 수 있어 데이터 가치와 활용을 극대화할 수 있다.

HCSF는 GPU와 스토리지 간 직접 연결을 위한 GPU 다이렉트 기술(GDS)로 응답 성능을 최적화하며, CSI(Container Storage Interface Plug-in)을 통한 컨테이너 스토리지 볼륨 운영을 최적화하고 효율성을 높여준다.

◆HPC 인프라 위한 최상의 전략 제시 =흔히 HPC 환경에서는 GPU만 도입하면 완벽하다고 생각하기 쉽다. 그러나 이를 잘 활용하기 위해서는 네트워크 환경과 스토리지 성능도 매우 중요하다.

AI 모델을 학습할 때 방대한 양의 데이터 IO가 필요하고, 재학습하면서 또 무수한 데이터를 받아들이는 과정을 반복하게 되는데, 이는 결국 스토리지의 병목 현상을 유발한다. 즉 스토리지의 성능이 탄탄하게 받쳐 줘야 완벽한 HPC 환경을 구현했다고 말할 수 있다.

AI 비즈니스를 준비하는 기업 중 LLM 모델 및 AI 모델을 한 가지 관점에서만 고민하는 경우가 많다. 그런데, 이러한 모델은 끊임 없는 진화하고 있어 지속적으로 운영하기가 쉽지 않다. 탄탄한 인프라를 위한 컴퓨팅 파워, 네트워크 속도, 스토리지 구성 등을 초기부터 종합적으로 살펴보고 기업 환경에 맞는 전략을 수립해야 향후에 기회비용을 최소화할 수 있다.

이에 대해 조직 내에서 자체적으로 판단하기 어렵다면, 전문 벤더의 컨설팅을 통해 환경에 걸맞은 로드맵을 수립한 후 최적의 인프라를 체계적으로 도입하는 것이 무엇보다 중요하다.

효성인포메이션시스템은 고객의 데이터 혁신을 위해 자문∙컨설팅부터 계획∙설계, 구축∙수행, 기술 지원 단계까지 통합 제공하며, 고객들의 AI/ML 및 HPC 인프라 혁신을 지원한다. SQream DB, SingleStore, Trino 등 서드파티 솔루션 연계를 통해 풀스택 아키텍처를 제공함으로써 고성능 데이터 레이크하우스를 위한 아키텍처를 지원한다.

또한, 슈퍼 마이크로 컴퓨터(SMCI)의 공식 국내 총판으로 슈퍼마이크로 GPU 서버에 효성의 가속 컴퓨팅 솔루션 구축 기술을 더해 고객이 연산 자원을 효율적으로 활용하도록 뒷받침한다.

◆HCSF 도입으로 AI 환경 업그레이드 =효성인포메이션시스템은 국내 대형 제조, AI 서비스, 공공 연구개발(R&D), 리서치 기업 등 다양한 고객 대상으로 GPU 기반 HPC 인프라 환경을 성공적으로 구현했다.

AI 서비스 기업 업스테이지는 AI 교육 및 자사 AI 학습 모델 테스트 환경을 위한 프라이빗 클라우드 기반 HPC 인프라 구축에 HCSF를 도입했다.

고성능 스토리지 구축 및 GDS로 응답 성능 최적화를 실현하고, 다수의 개발자, 분석가, 교육생 공동 운영을 위한 GPU 전용 스토리지 인프라를 확보했다. 향후 갑작스러운 데이터 증가나 사용자 증가에도 유연한 대응이 가능하며, GPU 서버 인프라를 고려한 스토리지 최적화 등을 통해 AI 환경에서 최적화된 HPC 운영 환경을 구현했다. HCSF의 경우 누구나 손쉽게 관리할 수 있어 도입 기업 입장에서도 소수 인력으로 시스템을 안정적으로 운영한다는 점에 만족도가 높다.

대형 제조기업 A사는 데이터 웨어하우스 및 하둡 데이터 분석 시스템을 이용했으나 확장성과 성능 저하가 큰 문제였다. 이를 해결하기 위해 HCSF를 활용해 전사 통합 저장소를 구축, 차세대 전사 데이터 분석 체계로 전환했다.

현장에서 발생하는 데이터에 대해 고성능 데이터 분석을 기반으로 대용량 쿼리가 가능토록 하고 향후 AI/ML을 위한 전사 분석 체계도 마련했다. 또한, 고성능 데이터 분석 기반과 각기 다른 데이터 인터페이스 클라이언트 환경을 지원하는 통합 스토리지인 오브젝트 스토리지가 NVMe 티어링 용도와 비정형 데이터 서비스 용도 두 가지로 나뉘어 동시에 운영되고 있다.

효성인포메이션시스템은 고성능 스토리지 시장에서 최고의 제품 구축 경험과 기술을 가지고 있다. 수년간 다양한 산업 분야에서 쌓은 노하우와 전문화된 인력, 레퍼런스를 보유하고 있으며, 이를 바탕으로 안정적인 원스톱 지원이 가능하다. 효성인포메이션시스템은 AI/HPC를 도입하려는 기업의 상황과 목표하는 바를 종합적으로 고려하여 차별화된 로드맵과 인프라 계획을 처음부터 끝까지 함께 수립하는 유일한 벤더라는 설명이다.