케이던스, 클라우데라 등 150개 이상의 기술 파트너 플랫폼에 통합해 AI 배포 속도 향상

[디지털데일리 김문기 기자] “모든 기업이 자사 운영에 생성형 AI를 도입하고자 하지만, 모든 기업이 전담 AI 연구팀을 보유하고 있는 것은 아니다."

젠슨 황 엔비디아 창립자 겸 CEO는 2일(현지시간) 대만 타이베이에 위치한 국립 타이베이 대학교 스포츠센터에서 엔비디아 컴퓨텍스 2024 기조연설을 갖고 전 세계 2800만 명의 개발자들이 엔비디아 NIM을 다운로드해 클라우드, 데이터 센터, 워크스테이션에 배포할 수 있게 됐다며 이같이 말했다.

그는 “플랫폼 전반에 통합되고, 어디서나 개발자들이 사용할 수 있고, 어디서나 실행될 수 있는 엔비디아 NIM은 기술 업계가 생성형 AI를 모든 기업에서 활용할 수 있도록 지원한다”고 말했다.

엔비디아 NIM은 AI 모델을 최적화된 컨테이너로 제공하는 추론 마이크로 서비스다. 이를 사용하면 개발자들은 코파일럿, 챗봇 등의 생성형 AI 애플리케이션을 몇 주가 아닌 단 몇 분만에 쉽게 구축할 수 있다는 설명이다.

NIM을 통해 기업들은 인프라 투자를 극대화할 수 있다. 예를 들어, NIM에서 메타 라마 3-8B(Meta Llama 3-8B) 모델을 실행하면, NIM을 사용하지 않을 때보다 가속화된 인프라에서 최대 3배 더 많은 생성형 AI 토큰을 생성할 수 있다. 이를 통해 기업은 효율성을 높이고 동일한 컴퓨팅 인프라를 사용하더라도 더 많은 응답을 생성할 수 있다.

케이던스(Cadence), 클라우데라(Cloudera), 코히시티(Cohesity), 데이터스택스(DataStax), 넷앱(NetApp), 스케일 AI(Scale AI), 시높시스(Synopsys)를 포함한 거의 200개의 기술 파트너가 NIM을 자체 플랫폼에 통합하고 있다. 코파일럿, 코드 비서, 디지털 휴먼 아바타 등 도메인 특화 애플리케이션을 위한 생성형 AI 배포 속도를 높일 수 있다. 허깅페이스(Hugging Face)는 현재 메타 라마 3부터 NIM을 제공하고 있다고 언급했다.

엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼을 통해 기업들은 NIM으로 운영 중인 AI 애플리케이션을 배포할 수 있다. 오는 7월부터 엔비디아 개발자 프로그램 회원은 자신이 선호하는 인프라에서 연구, 개발, 테스트를 위해 NIM을 무료로 사용할 수 있다.

텍스트, 음성, 이미지, 비디오, 헬스케어 생성형 AI를 지원하는 40개 이상의 NIM 마이크로서비스 NIM 컨테이너는 GPU 가속 추론을 위한 모델 배포를 가속화하기 위해 사전 구축됐다. 엔비디아 쿠다(CUDA) 소프트웨어, 엔비디아 트리톤 추론 서버, 엔비디아 텐서RT-LLM 소프트웨어가 포함될 수 있다.

이제40개 이상의 NIM 엔드포인트 모델을 'AI.엔디비아닷컴'에서 내려받을 수 있다. 데이터브릭스 DBRX(Databricks DBRX), 구글(Google)의 오픈 모델 젬마(Gemma), 메타 라마 3, 마이크로소프트 파이-3(Microsoft Phi-3), 미스트랄 라지(Mistral Large), 믹스트랄 8x22B(Mixtral 8x22B), 스노우플레이크 아크틱(Snowflake Arctic) 등이 있다.

개발자들은 이제 허깅페이스 AI 플랫폼에서 메타 라마 3 모델을 위한 엔비디아 NIM 마이크로서비스에 접근할 수 있다. 이를 통해 자신이 선호하는 클라우드에서 엔비디아 GPU로 구동되는 허깅페이스 추론 엔드포인트를 사용해 몇 번의 클릭만으로 라마 3 NIM에 액세스하고 실행할 수 있다.

기업은 NIM을 사용해 텍스트, 이미지, 비디오, 음성, 디지털 휴먼 등을 생성하기 위한 애플리케이션을 실행할 수 있다. 가령, 연구원들은 디지털 생물학을 위한 엔비디아 바이오네모(BioNeMo) NIM 마이크로서비스를 통해 새로운 단백질 구조를 구축함으로써 신약 발견을 가속화할 수 있다. 수십 여개의 헬스케어 기업들은 수술 계획, 디지털 비서, 약물 발견, 임상 시험 최적화 등의 다양한 응용 분야에 생성형 AI 추론 기술을 강화하기 위해 NIM을 배포하고 있다.

거대 생태계 구축...AI 가속화 앞장

캐노니컬, 레드햇, 뉴타닉스, VM웨어, 브로드컴 등 플랫폼 제공업체들은 오픈소스 케이서브 또는 엔터프라이즈 솔루션에 NIM을 지원하고 있다. AI 애플리케이션 기업인 히포크라틱 AI(Hippocratic AI), 글린(Glean), 키네티카(Kinetica),

레디스(Redis) 등도 생성형 AI 추론을 위해 NIM을 배포하고 있다.

AI 도구와 MLOps 파트너들도 NIM을 자사 플랫폼에 탑재해 개발자들이 도메인 특화 생성형 AI 애플리케이션을 최적화된 추론으로 구축하고 배포할 수 있게 지원하고 있다. 아마존 세이지메이커(Amazon SageMaker), 마이크로소프트 애저 AI(Azure AI), 데이터이쿠(Dataiku), 데이터로봇(DataRobot), 딥셋(deepset), 도미노 데이터 랩(Domino Data Lab), 랭체인(LangChain), 라마 인덱스(Llama Index), 리플리케이트(Replicate), 런.ai(Run.ai), 시큐리티 AI(Securiti AI), 웨이츠 앤드 바이어시스(Weights & Biases) 등이 있다.

글로벌 시스템 통합업체와 서비스 제공업체인 액센츄어(Accenture), 딜로이트(Deloitte), 퀀티파이(Quantiphi), 소프트서브(SoftServe), TCS, 위프로(Wipro)는 전 세계 기업들이 프로덕션 AI 전략을 신속하게 개발하고 배포할 수 있도록 NIM 역량을 구축하고 있다.

기업들은 거의 모든 곳에서 NIM 지원 애플리케이션을 실행할 수 있다. 글로벌 인프라 제조업체인 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 레노버(Lenovo), 슈퍼마이크로(Supermicro)는 물론 서버 제조업체인 애즈락 랙(ASRock Rack), 에이수스(ASUS), 기가바이트(GIGABYTE), 인그라시스(Ingrasys), 인벤텍(Inventec), 페가트론(Pegatron), QCT, 위스트론(Wistron), 위윈(Wiwynn)의 엔비디아 인증 시스템을 포함한다.

또한, NIM 마이크로서비스는 아마존 웹 서비스(Amazon Web Services, AWS), 구글 클라우드(Google Cloud), 애저, 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure)에도 통합됐다.

엔비디아는 대만의 주요 기업들인 폭스콘(Foxconn), 페가트론, 암독스(Amdocs), 서비스나우(ServiceNow) 등 업계 선도기업들이 제조, 의료, 금융 서비스, 유통, 고객 서비스 등 다양한 분야에서 NIM을 활용해 생성형 AI 애플리케이션을 구현하고 있다고 밝혔다.

세계 최대 전자제품 제조업체인 폭스콘은 스마트 제조, 스마트 시티, 스마트 전기차를 위한 AI 공장의 다양한 내부 시스템과 프로세스에 내장된 도메인 특화 거대 언어 모델(LLM)을 개발하는데 NIM을 사용하고 있다. 대만 전자제품 제조업체인 페가트론은 산업용 현지 LLM 개발을 촉진하기 위해 설계된 대만 전문가 혼합 모델인 프로젝트 TaME(Project TaME)에 NIM을 활용하고 있다.

통신 및 미디어 회사에 소프트웨어와 서비스를 제공하는 글로벌 공급업체인 암독스는 NIM을 사용해 고객 청구 LLM을 실행하고 있다. 이를 통해 토큰 비용을 크게 낮추고 정확도를 최대 30% 향상시키며 지연 시간을 80% 단축해 실시간에 가까운 응답서비스를 제공하고 있다.

서비스나우는 올해 초 NIM 마이크로서비스에 액세스할 수 있게 됐다고 발표했다. 빠르고 확장 가능하며, 비용 효율적인 LLM 개발과 배포를 지원한다. 나우 AI 멀티모달 모델 내에 통합된 NIM 마이크로서비스는 서비스나우의 생성형 AI인 나우 어시스트를 설치한 고객이라면 누구나 사용할 수 있다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지