로봇 시뮬레이션과 학습 위한 새로운 엔비디아 NIM 마이크로서비스와 프레임워크 제공

[디지털데일리 김문기 기자] “AI의 차세대 물결은 로보틱스이며, 가장 흥미로운 개발 중 하나는 휴머노이드 로봇이다. 우리는 전 세계 휴머노이드 개발자와 기업이 각자의 필요에 가장 적합한 플랫폼, 가속 라이브러리, AI 모델을 사용할 수 있도록 전체 엔비디아 로봇 스택을 발전시키고 있다.”

젠슨 황 엔비디아 창립자 겸 CEO는 28일(현지시간)부터 미국 콜로라도 덴버에서 열린 시그라프 2024에서 전세계 휴머노이드 개발 가속화에 나선다며 이같이 말했다. 엔비디아는 세계 유수의 로봇 제조업체, AI 모델 개발자, 소프트웨어 제조업체에 차세대 휴머노이드 로봇의 개발, 훈련, 구축을 위한 서비스, 모델, 컴퓨팅 플랫폼 제품군을 제공한다.

여기에는 로봇 시뮬레이션과 학습을 위한 새로운 엔비디아 NIM 마이크로서비스와 프레임워크가 포함된다. 다단계 로봇 작업을 실행하기 위한 엔비디아 오스모(OSMO) 오케스트레이션 서비스와 개발자가 적은 양의 인간 데모 데이터를 사용해 로봇을 훈련할 수 있도록 하는 AI와 시뮬레이션 지원 원격 운영 워크플로우도 포함된다.

NIM 마이크로서비스는 엔비디아 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공해, 개발자가 배포 시간을 몇 주에서 몇 분으로 단축할 수 있도록 한다. 엔비디아 아이작 심(Isaac Sim)은 엔비디아 옴니버스(Omniverse) 플랫폼에 설계된 로봇 시뮬레이션용 레퍼런스 애플리케이션이다. 로봇 공학자들은 이 아이작 심에서 두 가지 새로운 AI 마이크로서비스를 통해 물리 생성형 AI를 위한 시뮬레이션 워크플로우를 개선할 수 있다.

미믹젠(MimicGen) NIM은 애플 비전 프로(Apple Vision Pro)와 같은 공간 컴퓨팅 장치에서 원격으로 조작한 데이터를 기반으로 합성 모션 데이터를 생성한다. 로보카사(Robocasa) NIM은 3D 월드 내의 개발과 협업을 위한 범용 프레임워크인 오픈USD(OpenUSD)에서 로봇 작업과 시뮬레이션 지원 환경을 생성한다.

현재 사용 가능한 엔비디아 오스모는 클라우드 네이티브 관리형 서비스다. 이는 사용자가 온프레미스(on-premises)나 클라우드로 분산된 컴퓨팅 리소스 전반에서 복잡한 로봇 개발 워크플로우를 조율하고 확장할 수 있도록 지원한다.

오스모는 로봇 훈련과 시뮬레이션 워크플로우를 대폭 간소화해 배포와 개발 주기를 수개월에서 1주일 이내로 단축한다. 사용자는 합성 데이터 생성, 모델 훈련, 강화 학습 수행, 그리고 휴머노이드, 자율 모바일 로봇, 산업용 조작기를 위한 대규모 SIL(Software-in-the-Loop) 수행 등 다양한 작업을 시각화하고 관리할 수 있다.

휴머노이드 로봇의 파운데이션 모델을 훈련하려면 엄청난 양의 데이터가 필요하다. 인간의 데모 데이터를 캡처하는 방법 중 하나는 원격 조작을 사용하는 것이지만, 점점 더 많은 비용과 시간이 소요되고 있다.

연구자와 AI 개발자는 엔비디아 AI와 옴니버스 지원 원격 작업 레퍼런스 워크플로우를 통해 원격으로 수집한 최소한의 인간 데모 데이터로 방대한 양의 합성 모션과 인식 데이터를 생성할 수 있다. 이는 이번 시그라프(SIGGRAPH) 컴퓨터 그래픽 콘퍼런스에서 시연됐다.

먼저, 개발자가 애플 비전 프로를 사용해 소수의 원격 조작 데모를 캡처한다. 그런 다음 엔비디아 아이작 심에서 녹화본을 시뮬레이션하고 미믹젠 NIM을 사용해 녹화본에서 합성 데이터 세트를 생성한다.

개발자는 실제 데이터와 합성 데이터로 프로젝트 GR00T(Project GR00T) 휴머노이드 파운데이션 모델을 훈련함으로써 시간을 절약하고 비용을 절감할 수 있다. 그런 다음 로봇 학습을 위한 프레임워크인 아이작 랩(Isaac Lab)의 로보카사 NIM을 사용해 로봇 모델을 재훈련하기 위한 경험을 생성한다. 워크플로우 전반에 걸쳐 엔비디아 오스모는 컴퓨팅 작업을 다양한 리소스에 원활하게 할당해 개발자는 몇 주 동안 관리 작업을 하지 않아도 된다.

엔비디아는 휴머노이드 로봇 개발을 용이하게 하는 세 가지 컴퓨팅 플랫폼을 제공한다. 바로 모델 훈련을 위한 엔비디아 AI 슈퍼컴퓨터, 로봇이 시뮬레이션 세계에서 학습하고 기술을 개선할 수 있는 옴니버스 기반의 엔비디아 아이작 심, 모델 실행을 위한 엔비디아 젯슨 토르(Jetson Thor) 휴머노이드 로봇 컴퓨터다. 개발자는 특정 요구 사항에 따라 플랫폼 전체나 일부에 액세스해 사용할 수 있다.

새로운 엔비디아 휴머노이드 로봇 개발자 프로그램(Humanoid Robot Developer Program)을 통해 개발자는 새로운 제품과 엔비디아 아이작 심, 엔비디아 아이작 랩, 젯슨 토르, 그리고 프로젝트 GR00T 범용 휴머노이드 파운데이션 모델의 최신 릴리스에 대한 얼리 액세스 권한을 얻을 수 있다.

얼리 액세스 프로그램에 처음으로 참여하게 된 회사에는 1X 테크놀로지스(1X Technologies), 보스턴 다이내믹스(Boston Dynamics), 필드 AI(Field AI), 피규어 AI(Figure AI), 푸리에, 갈봇(Galbot), 림스 다이나믹스(LimX Dynamics), 멘티 로보틱스(Mentee Robotics), 뉴라 로보틱스(Neura Robotics), 로보테라(RobotEra), 스킬드 AI(Skild AI)가 있다.

아론 손더스(Aaron Saunders) 보스턴 다이내믹스 최고 기술 책임자는 “엔비디아와 보스턴 다이내믹스는 로보틱스에서 가능성의 한계를 넓히기 위해 오랜 기간 긴밀하게 협력해 왔다. 이 작업의 결실이 업계 전반을 가속화하는 것을 보게 돼 매우 기쁘게 생각하며, 얼리 액세스 프로그램은 업계 최고의 기술을 이용할 수 있는 환상적인 방법"이라고 말했다.

신규 생성형 AI 모델과 NIM 마이크로서비스 발표

이날 엔비디아는 오픈USD(Universal Scene Description, OpenUSD)의 주요 발전 사항을 발표했다.

엔비디아 옴니버스(Omniverse) 플랫폼에서 구축된 새로운 오픈USD 기반 생성형 AI와 엔비디아 가속 개발 프레임워크를 통해, 더 많은 산업에서 산업 디자인과 엔지니어링 프로젝트를 시각화할 수 있게 됐다. 차세대 물리 AI와 로봇을 구축하기 위한 환경을 시뮬레이션할 수 있는 애플리케이션의 개발도 가능하다.

신규 서비스에는 사용자 쿼리에 응답하기 위한 오픈USD 언어 생성, 오픈USD 파이썬(Python) 코드 생성, 3D 개체에 머티리얼 적용, 3D 공간과 물리학을 통해 디지털 트윈 개발을 가속화할 수 있는 AI 모델용 엔비디아 NIM 마이크로서비스가 포함된다. 아울러 로보틱스와 산업 시뮬레이션 데이터 형식과 개발자 도구에 대한 새로운 USD 커넥터를 통해 사용자는 대규모의 완전한 엔비디아 RTX 레이 트레이싱 데이터 세트를 애플 비전 프로로 스트리밍할 수 있다.

레브 레바레디언(Rev Lebaredian) 엔비디아 옴니버스와 시뮬레이션 기술 담당은 “중공업 분야의 생성형 AI 붐이 시작됐다. 최근까지 디지털 세계는 주로 크리에이티브 산업에서 사용돼 왔지만, 이제 엔비디아 NIM 마이크로서비스가 오픈USD에 향상된 기능과 접근성을 제공해 모든 종류의 산업에서 물리 기반 가상 세계와 디지털 트윈을 구축할 수 있게 됐다. 이로써 혁신을 주도하는 동시에 차세대 AI 물결인 로보틱스를 준비할 수 있게 됐다”고 말했다.

엔비디아가 개발한 세계 최초의 오픈USD 개발용 생성형 AI 모델은 엔비디아 NIM 마이크로서비스로 제공될 예정이다. 개발자는 이 모델을 통해 생성형 AI 코파일럿과 에이전트를 USD 워크플로우에 통합해 3D 세상의 가능성을 넓힐 수 있다. 아울러 제조, 자동차, 로보틱스 등 새로운 산업 분야에서 USD의 도입을 가속화할 수 있다.

전 세계 170개 이상의 공장을 보유한 글로벌 제조 선도 기업인 폭스콘은 NIM 마이크로서비스와 옴니버스를 사용해 개발 중인 공장의 디지털 트윈을 제작하며, 이미 엔비디아의 컴퓨팅 플랫폼의 이점을 누리고 있다.

저 스(Zhe Shi) 폭스콘 최고 디지털 책임자이자 스마트 제조 플랫폼 책임자는 "디지털 트윈은 우리가 산업 제조와 자율 기계의 차세대 물결을 가속화하는 데 도움이 될 것이다. 엔비디아 옴니버스와 새로운 NIM 마이크로서비스는 디지털 트윈 개발 능력을 대중화해 폭스콘이 물리적 기반 가상 공장을 그 어느 때보다 빠르게 구축할 수 있도록 지원할 것”이라고 말했다.

한편, 엔비디아는 작년 픽사, 어도비(Adobe), 애플, 오토데스크(Autodesk)와 함께 AOUSD를 설립했다. 엔비디아와 다른 협력사들은 AOUSD를 통해 새로운 오픈USD 출시, 오픈USD 핵심 사양의 진척 상황과 새로운 멤버를 발표했다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지