“AI 프로젝트 관건은 데이터처리”…퓨어스토리지, 지속가능 데이터관리 플랫폼 전략은?

실시간
뉴스

소프트웨어

“AI 프로젝트 관건은 데이터처리”…퓨어스토리지, 지속가능 데이터관리 플랫폼 전략은?

디지털데일리 발행일 2024-05-23 08:30:00

이안나 기자

URL복사

퓨어스토리지의 구독형 스토리지 서비스 '에버그린' 포트폴리오 [ⓒ 퓨어스토리지]

[디지털데일리 이안나기자] 기업들은 인공지능(AI) 도입을 가속화하며 실시간 의사결정, 운영 효율성 향상, 그리고 확장성 확보를 목표로 한다. 하지만 기하급수적으로 증가하는 데이터 관리는 기업들에게 점점 더 큰 도전이 되고 있다.

이러한 추세에 대응하기 위해 퓨어스토리지는 AI 프로젝트를 진행하는 기업 대상으로 비용 절감과 생산성 향상을 돕는 지속가능한 데이터관리 솔루션을 제공한다. 퓨어스토리지는 데이터 큐레이션부터 모델 트레이닝, 추론에 이르기까지 AI 프로세스 모든 단계를 지원하는 데이터 스토리지 플랫폼을 보유하고 있다. 이를 통해 기업들은 AI 도입 초기부터 탁월한 효율성과 성능을 경험할 수 있다.

AI 프로젝트 성공은 다양하고 방대한 데이터의 효율적 처리에 달려 있다. 퓨어스토리지는 ‘플래시블레이드(FlashBlade)’가 AI 프로젝트 요구사항에 부합하는 플랫폼이라고 강조한다. 정형·비정형 데이터를 모두 지원하고 데이터 크기나 액세스 패턴에 관계없이 우수한 성능을 제공한다는 이유에서다.

플래시블레이드는 접속된 서버 대수를 늘려 처리 능력을 향상하는 스케일 아웃 구조를 갖췄다. 데이터 증가에 따라 성능과 용량을 유연하게 확장할 수 있어 다양한 스케일 AI 수요를 충족시킨다.

이러한 스케일 아웃 구조 덕분에 기업은 AI 인프라 환경을 소규모로 시작해서 대규모로도 확장할 수 있다. 이는 곧 AI 프로젝트 투자 비용을 효율적으로 관리할 수 있음을 의미한다. 고성능 병렬 분산 처리를 지원해, 한정된 공간에서도 강력한 스토리지 시스템을 구축할 수 있다. 대규모 데이터 학습이 필요한 AI·머신러닝(ML) 분야에서 탁월한 성능을 보인다.

◆ 환경까지 고려하는 스토리지, 구독모델로 경제적 운영 가능=퓨어스토리지 주력 제품인 스토리지는 서버 등과 함께 데이터센터 내 핵심 장비로, 데이터센터 전체 전력 소비량의 20~25%를 차지한다. 국제에너지기구(IEA)는 지난 2022년 대비 오는 2026년까지 전 세계 데이터센터 전력 소비량이 두 배 이상 증가할 것으로 보고 있다.

이에 따라 지속가능성은 IT 장비 선택의 중요한 요소로 부상하고 있다. 기업들은 환경적 영향을 줄이는 솔루션을 선호하는 추세다. 이는 전 세계 모든 데이터센터 스토리지를 올플래시로 전환하는 퓨어스토리지 목표와도 맞닿아 있다.

올플래시 스토리지는 디스크 대비 데이터센터 상면(공간)을 최대 10배 절약할 수 있고 전력량은 7배, 발열량은 6배 줄일 수 있다. 퓨어스토리지 제품은 경쟁 솔루션 대비 에너지 사용량과 데이터센터 내 상면 공간을 최대 80%까지 절감하고, 전자 폐기물을 85%까지 감소시켜 환경적 영향을 줄임과 동시에 데이터센터 비용 절감에도 기여한다.

기존 AI 데이터 스토리지는 용량 확장만 가능할 뿐, 그래픽처리장치(GPU) 발전에 따른 성능 향상은 어려웠다. 퓨어스토리지는 클라우드와 같은 구독형 모델을 올플래시 스토리지에 접목해 기업이 스토리지 사용량에 따라 비용을 지불하고, 스토리지 업그레이드 시 데이터 마이그레이션 중 서비스 중단 없이 유연하게 전환할 수 있도록 했다.

퓨어스토리지 구독 서비스 에버그린(Evergreen) 포트폴리오는 기업이 데이터 플랫폼을 항상 최신 상태로 유지하면서, 사용량에 따른 비용 지불과 시스템 중단 없는 업그레이드를 구현할 수 있도록 지원한다. 이를 통해 기업은 구축과 최적화에 드는 비용까지 최소화할 수 있다.

퓨어스토리지 플래시블레이드 S [ⓒ 퓨어스토리지]

◆ 엔비디아와 AI 스토리지 협업… 선도 기업들 ‘플레시블레이드’ 빠른 도입=퓨어스토리지는 엔비디아와 협력해 고성능 데이터 및 컴퓨팅 요구를 충족하는 AI 구축 프레임워크를 제공한다. 2018년 엔비디아와 공동으로 개발한 AI 준비 인프라스트럭처 레퍼런스 아키텍처인 ‘에이리(AIRI)’ 출시를 시작으로, 최근 생성형 AI 사례를 지원하는 새 레퍼런스 아키텍처를 선보였다.

대규모언어모델(LLM) 추론 정확도와 관련성 향상을 위해 엔비디아 네모 리트리버, 엔비디아 GPU, 그리고 자사 스토리지로 구성된 검색증강생성(RAG) 파이프라인을 개발했다. 이로써 인사이트 획득 가속화와 LLM을 지속적으로 재훈련해야하는 수고를 줄였다.

또한 엔비디아 OVX 서버 스토리지 레퍼런스 아키텍처 인증을 통해 기업 고객과 채널 파트너에게 비용 및 성능 최적화된 AI 솔루션을 제공한다. 나아가 양사는 산업별 RAG 개발에도 협력하며, 금융 서비스 분야에서는 방대한 데이터세트 요약 및 쿼리 솔루션을 제공해 금융 기관 재무 문서 분석 속도를 증진시킨다. 헬스케어 및 공공 부문을 위한 RAG 솔루션 개발도 진행 중이다.

퓨어스토리지의 플래시블레이드는 포춘(Fortune) 100대 기업 중 25% 이상이 사용하고 있다. 금융·제조·의료·IT 서비스 등 AI 관련 연구를 선도하는 국내외 기업 및 연구기관들 AI 컴퓨팅 환경에서 활발하게 활용하고 있다.

엔씨소프트는 AI 프로젝트를 위해 플래시블레이드를 확대 도입했다. 플래시블레이드 도입 후 수일이 소요되던 데이터 이동 및 로딩 작업을 당일 내 처리할 수 있게 됐다. 클라우드와 같이 스케일링이 가능한 AI 환경을 온프레미스에 구축해 총소유비용(TCO)을 절감하고, 추가 비용 없이 온프레미스 인프라를 유연하게 확장할 수 있는 역량을 확보했다.

카카오는 AI 애플리케이션에서 발생하는 방대한 양의 데이터를 처리하고 GPU 성능을 극대화하기 위해 플래시블레이드를 도입했다. 도입 이후 카카오는 네트워크 인터페이스 및 스토리지 병목 현상을 제거해 GPU로부터 높은 컴퓨팅 리소스를 확보했다. 사내 관제 시스템과 유기적으로 통합된 플래시블레이드는 데이터 파이프라인에 대한 직관적인 관리를 제공하고, 중복된 데이터 사일로 제거 및 데이터 압축 저장을 통해 운영 및 관리 비용을 절감했다.

미디어젠은 플래시블레이드를 통해 최대 12개월이 소요되던 음성인식 모델링 작업을 2주(96% 향상)로 단축했으며, 충북테크노파크는 플래시블레이드를 도입해 데이터 처리 성능을 2배 이상 향상했다. GPU 서버 내 데이터 읽기 속도도 개선해 GPU 활용률을 기존 30%에서 80%로 약 2.6배 증가시켰다.