엔비디아(www.nvidia.co.kr)가 GTC에서 파운데이션 모델, 로보틱스 툴, GPU 가속 라이브러리 컬렉션인 아이작 매니퓰레이터(NVIDIA Isaac Manipulator)와 아이작 퍼셉터(Isaac Perceptor)를 발표했다.

엔비디아 아이작 로보틱스 플랫폼은 최신 생성형 AI와 고급 시뮬레이션 기술을 활용해 AI 기반 로보틱스를 가속화하고 있다.

엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 10,000명 이상의 청중이 모인 GTC 기조연설 현장에서 휴머노이드 로봇 학습을 위한 범용 파운데이션 모델인 프로젝트 GR00T(Project GR00T)를 시연했다. GR00T는 ‘Generalist Robot 00 Technology’의 약자로, 엔비디아 아이작 로보틱스 플랫폼의 다양한 툴을 활용해 휴머노이드 로봇용 AI를 개발한다.

젠슨 황은 "일반 휴머노이드 로봇을 위한 파운데이션 모델 구축은 오늘날 AI 분야에서 해결해야 할 가장 흥미로운 문제 중 하나이다. 여러 기술이 하나로 모여 전세계 뛰어난 로봇 공학자들이 인공 일반 로봇의 큰 도약을 이루도록 이끌고 있다"고 말했다.

아울러 엔비디아는 엔비디아 토르 시스템 온 칩(Thor system-on-a-chip) 기반의 새로운 휴머노이드 로봇용 컴퓨터를 공개했다. 또한 로봇 학습을 위한 아이작 랩(Isaac Lab), 하이브리드 클라우드 워크플로우 오케스트레이션(hybrid-cloud workflow orchestration)을 위한 엔비디아 오스모(OSMO)를 포함한 엔비디아 아이작 로봇 플랫폼의 새로운 툴도 발표했다. 이들은 프로젝트 GR00T와 로봇용 파운데이션 모델 개발에 중요한 역할을 할 것으로 기대된다.

로봇 팔을 위한 아이작 매니퓰레이터

엔비디아 아이작 매니퓰레이터는 로봇 팔(Robotic Arms)을 위한 최첨단 모션 생성과 모듈식 AI 기능을 제공하며, 강력한 파운데이션 모델과 GPU 가속 라이브러리 컬렉션을 갖추고 있다.

로보틱스 개발자는 특정 작업에 맞게 맞춤 설정된 소프트웨어 구성 요소를 조합해 로봇이 주변 환경을 인식하고 상호 작용할 수 있게 한다. 이를 통해 AI 모델 훈련과 작업 프로그래밍을 가속화해 동적 조작 작업을 위한 확장 가능하고 반복 가능한 워크플로우를 구축할 수 있다.

엔비디아의 로봇과 엣지 컴퓨팅 부문 부사장인 디푸 탈라(Deepu Talla)는 "파운데이션 모델 생성을 위한 새로운 툴을 아이작 플랫폼에 통합함으로써 다양한 작업을 수행할 수 있는 스마트하고 유연한 로봇을 더 빠르게 개발할 수 있게 됐다"고 말했다.

로봇 선도 업체들은 아이작 매니퓰레이터를 고객에게 제공하기 위해 엔비디아와 협력하고 있다. 대표적인 기업으로는 야스카와(Yaskawa), 솔로몬(Solomon), 피크닉 로보틱스(PickNik Robotics), 레디 로보틱스(READY Robotics), 프랑카 로보틱스(Franka Robotics), 테라다인(Teradyne)의 자회사 유니버설 로봇(Universal Robots) 등이 있다.

야스카와의 대표인 마사히로 오가와(Masahiro Ogawa)는 "야스카와의 자동화 솔루션에 엔비디아의 AI 툴과 기능을 도입함으로써 우리는 산업 전반에 걸쳐 로봇을 배치할 수 있는 지평을 넓히고 있다. 이는 다양한 산업에 큰 영향을 미칠 것으로 예상된다"고 말했다.

엔비디아는 기존의 로봇 조작 시스템을 보강하기 위한 파운데이션 모델을 선보이고 있다. 이러한 모델들은 스마트 제조, 픽앤플레이스(pick-and-place) 작업, 기계 조작과 조립을 처리하는 데 있어서 다양한 환경과 애플리케이션에 맞게 로봇이 감지, 적응, 재프로그래밍할 수 있도록 개발하는 데 도움이 될 것이다. 이러한 모델은 다음과 같다.

 파운데이션포즈(FoundationPose)는 기존에는 감지하지 못했던 물체들의 6D 포즈 추정과 추적을 위한 선구적인 파운데이션 모델이다.

 cu모션(cuMotion)은 여러 궤적 최적화를 동시에 실행해 최상의 솔루션을 제공한다. 이로써 산업 규모의 로봇 모션 계획 문제를 해결하기 위해 엔비디아 GPU의 병렬 처리 기능을 활용한다.

 파운데이션그랩(FoundationGrasp)은 미지의 3D 물체에 대해 깊이 있게 파악하고 예측 기능을 수행하는 트랜스포머 기반 모델이다.

 신세티카DETR(SyntheticaDETR)은 실내 환경을 위한 물체 감지 모델로, 새로운 물체를 더 빠르게 감지, 렌더링, 훈련할 수 있다.

아이작 퍼셉터로 자율 이동 로봇에 시각 AI 제공

제조와 주문 처리 작업에서 효율성과 작업자 안전을 개선하고 오류율과 비용을 줄이기 위해 자율 이동 로봇(AMR, autonomous mobile robot)을 채택하고 있다.

아이작 퍼셉터는 멀티 카메라, 360도 비전 기능을 제공한다. 이를 통해 아크베스트(ArcBest), BYD, 키온 그룹(KION Group)과 같은 초기 업계 파트너에게 자재 취급 작업을 지원하는 자율 이동 로봇 설치를 위한 고급 시각 AI를 제공한다.

엔비디아는 세그웨이 로보틱스(Segway Robotics)와 레오파드 이미징(Leopard Imaging)과 협력해 엔비디아 노바 오린 데브키(Nova Orin DevKi)를 개발했다. 이를 통해 기업들은 아이작 퍼셉터의 개발, 검증, 배포의 과정을 신속하게 처리할 수 있다.

아크베스트의 최고 혁신 책임자이자 아크베스트 테크놀로지스(ArcBest Technologies)의 대표인 마이클 뉴시티(Michael Newcity)는 "아크베스트는 물류 분야에 최첨단 머신 비전 기술을 도입하기 위해 엔비디아와 협력하고 있다. 복스 스마트 오토노미(Vaux Smart Autonomy) AMR 지게차와 리치 트럭에 아이작 퍼셉터 플랫폼을 사용하면 창고, 유통 센터, 제조 시설의 자재 취급 프로세스에서 장애물 감지를 위한 인식, 의미 인식 내비게이션, 3D 매핑을 개선할 수 있다"고 말했다.

휴머노이드 로봇 개발을 위한 프로젝트 GR00T
GTC 2024에서 시연된 GR00T 기반 휴머노이드 로봇은 텍스트, 비디오, 데모 등 다양한 형태의 지시를 수신할 수 있을 뿐만 아니라 이전 상호작용을 이용해 로봇이 원하는 동작을 수행할 수 있다. 엔비디아는 어질리티 로보틱스(Agility Robotics), 앱트로닉(Apptronik), 푸리에인텔리전스(Fourier Intelligence), 유니트리 로보틱스(Unitree Robotics)의 휴머노이드 로봇 4종에 탑재된 GR00T를 선보였다.

휴머노이드 로봇은 고주파 저레벨 제어, 센서 융합과 인식, 작업 계획, 인간과 로봇의 상호 작용 등의 요구를 충족하기 위해 이기종 컴퓨팅(heterogeneous computing)이 필요한 복잡한 시스템이다. 엔비디아는 엔비디아 토르 SoC에 기반한 새로운 휴머노이드 로봇용 젯슨 토르(Jetson Thor) 탑재 컴퓨터를 공개했다.

젯슨 토르는 엔비디아 블랙웰(Blackwell) 아키텍처 기반의 차세대 GPU와 800테라플롭스의 8비트 부동 소수점 AI 성능을 제공하는 트랜스포머 엔진을 갖췄다. 이를 통해 GR00T와 같은 멀티모달 생성형 AI 모델을 실행할 수 있다. 또한 통합 기능 안전 프로세서, 고성능 CPU 클러스터와 100GB의 이더넷 대역폭을 통해 설계와 통합 작업을 크게 간소화한다.

프로젝트 GR00T는 로봇 개발자가 파운데이션 모델을 구축하고 테스트하기 위해 사용할 수 있는 아이작 도구를 사용한다. 여기에는 휴머노이드 로봇 모델을 대규모로 훈련하기 위해 아이작 심(Isaac Sim)에 내장된 새로운 경량 시뮬레이션 앱인 아이작 랩이 포함된다. 또한, 훈련과 시뮬레이션 워크로드 관리용 클라우드 워크플로우 오케스트레이션 플랫폼인 오스모도 함께 포함된다.

아이작 랩으로 로봇 학습 가속화하기
걷기나 잡기 등의 고급 이동 기술이 필요한 로봇은 시뮬레이션 환경에서 심층 강화 학습을 사용하고 가상 환경에서 반복적으로 훈련해 기술을 익혀야 한다. 그러나 그렇게 모델이 습득한 기술의 유용성은 실제 로봇 운용 환경에 적용될 때 더욱 진가가 발휘되며, 이는 프로젝트 GR00T를 통해 입증됐다.

아이작 짐(Isaac Gym)의 후속작인 아이작 랩은 물리 기반의 사실적인 인식 기반 강화 학습 작업을 위해 엔비디아 옴니버스(Omniverse) 기술을 활용한다. 아이작 랩은 아이작 심 플랫폼에 구축된 로봇 학습용 오픈 소스 애플리케이션으로, 성능에 최적화돼 있다. 이 애플리케이션에는 강화 학습 API와 개발자 친화적인 작업 프레임워크가 통합된다.

엔비디아 오스모로 클라우드 네이티브 로보틱스 워크플로우 스케줄링 활성화하기

엔비디아 오스모는 분산 환경 전반에서 워크로드를 확장한다. 복잡하고 다양한 단계를 포함하는 작업이 요구되는 로보틱스 분야의 경우, 이 플랫폼은 위치에 구애받지 않고 배치할 수 있는 옵션과 배치된 모델에 대한 데이터 세트 관리와 추적 기능을 제공한다.

보스턴 다이내믹스(Boston Dynamics)의 머신 러닝과 인식 책임자인 팻 매리언(Pat Marion)은 "보스턴 다이내믹스는 로봇을 구동하기 위해 다양한 머신 러닝, 강화 학습, AI 기술을 활용하고 있다. 대규모 트레이닝 워크로드를 효과적으로 관리하기 위해 우리는 엔비디아 오스모 인프라 솔루션을 사용하고 있다. 이는 머신 러닝 엔지니어들이 워크플로우를 간소화하고 자신의 전문성을 까다로운 로봇 공학 문제를 해결하는 데 전념하게 도와준다"고 말했다.

예를 들어 오스모는 훈련을 위해 엔비디아 DGX에서 모델을 실행하고, 시뮬레이션에서 라이브 강화 학습을 위해 엔비디아 OVX 서버를 동시에 실행하며 GR00T를 지원한다. 이 워크로드에는 반복적으로 모델을 생성하고 훈련하는 작업이 포함된다. 분산 환경 전반에서 워크로드를 관리하고 예약하는 오스모의 기능을 통해 DGX와 OVX 시스템을 원활하게 조정할 수 있다. 이는 효율적이고 반복적인 모델 개발을 가능하게 한다. 모델이 테스트와 검증을 위한 준비가 완료되면 오스모는 OVX(x86-64)의 소프트웨어 인더루프(software-in-the-loop, SIL) 워크플로우와 엔비디아 젯슨 (aarch64) 컴퓨팅 리소스를 사용한 하드웨어 인더루프(hardware-in-the-loop, HIL) 워크플로우를 독자적으로 조율할 수 있다.

개발자를 위한 ROS 에코시스템 지원
엔비디아는 오픈 소스 로보틱스 얼라이언스(OSRA, Open Source Robotics Alliance) 조직의 창립 멤버이자 플래티넘 스폰서로 합류했다. OSRA는 로봇 운영 체제(ROS)를 비롯한 여러 오픈 소스 로봇 프로젝트를 지원한다. 이들은 로보틱스 커뮤니티의 협업, 혁신, 기술 지침을 촉진하기 위한 ‘오픈 소스 로보틱스 재단(OSRF, Open Source Robotics Foundation)’이 시작한 새로운 프로젝트이다.

오픈 로보틱스(Open Robotics)의 CEO인 바네사 얌존 오르시(Vanessa Yamzon Orsi)는 "자율 로봇의 기능이 향상됨에 따라 더 강력하면서도 에너지 효율적인 온보드 컴퓨팅에 대한 수요가 증가하고 있다. ROS 커뮤니티는 이러한 수요를 직접 경험하고 있으며, 우리 사용자들은 점점 더 엔비디아와 같은 업계 리더의 고급 가속 컴퓨팅 하드웨어를 활용하고 있다”고 말했다.