엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 시그라프(SIGGRAPH) 특별 연설에서 그래픽의 다음 시대를 주도하는 힘과 이를 가속화하기 위한 엔비디아(NVIDIA)의 확장 도구 범위에 대해 발표했다.

엔비디아 설립자이자 CEO인 젠슨 황(Jensen Huang)은 "AI와 컴퓨터 그래픽의 결합은 인터넷 차세대 진화인 메타버스를 강화할 것이며, 이는 연결된 가상 세계와 디지털 트윈의 고향이자 실제 업무와 놀이를 위한 장소가 될 것이다. 더불어 가장 인기 있는 로봇 형태 중 하나가 될 디지털 인간 아바타로 메타버스에 활기를 불어넣을 것"이라고 설명하며, 45분간의 강연을 시작했다.

엔비디아는 45개의 데모와 슬라이드를 통해 다음과 같이 발표했다.

• 아바타 생성을 위한 새로운 플랫폼인 엔비디아 옴니버스 아바타 클라우드 엔진 (Omniverse Avatar Cloud Engine)
• 메타버스 언어인 USD(Universal Scene Description) 구축 계획
• 가상 세계 및 디지털 트윈 생성을 위한 컴퓨팅 플랫폼인 엔비디아 옴니버스(NVIDIA Omniverse)의 주요 확장
• 머신 러닝으로 그래픽 워크플로 강화할 수 있는 도구

젠슨은 "오늘 발표한 내용은 새로운 프로그래밍 모델, 새로운 아키텍처 및 표준을 갖춘 최신 컴퓨팅 플랫폼인 메타버스를 더욱 발전시킨다. 특히 증강 현실이 포함된 가상 3D 제품을 사용해 보는 소비자, 통신사가 무선 타워를 최적화하고 배포하기 위해 무선 네트워크의 디지털 트윈을 생성하는 회사, 레이아웃과 물류를 최적화하기 위해 창고 및 공장의 디지털 트윈을 생성하는 회사들이 이에 해당한다”며, 메타버스 애플리케이션은 이미 시작됐다고 강조했다.

아바타 도입
아바타는 디지털 공장에서 일하고 온라인 게임에서 즐기고 전자 상거래를 위한 고객 서비스를 제공할 것이다.

젠슨은 "수십억 개의 아바타가 존재할 것이며, 옴니버스에서 설계, 훈련 및 운영될 가장 널리 사용되는 로봇 중 하나가 될 것"이라고 말했다.

디지털 인간과 아바타는 자연어 처리, 컴퓨터 비전, 복잡한 얼굴 및 신체 애니메이션 등이 필요하다. 즉, 현실적으로 움직이고 말하기 위해 복잡한 기술을 밀리초 단위로 동기화해야 한다.

엔비디아가 옴니버스 아바타 클라우드 엔진으로 단순화 및 가속화를 목표로 하는 것은 어려운 작업이다. 여기서 ACE는 대화형 AI에서 오디오투페이스(Audio2Face), 오디오투이모션(Audio2Emotion)과 같은 애니메이션 도구에 이르기까지 엔비디아의 작업을 기반으로 하는 AI 모델과 서비스 모음이다.

엔비디아 그래픽 및 AI 담당 이사인 사이먼 위엔(Simon Yuen)은 "옴니버스 ACE를 통해 개발자는 퍼블릭 또는 프라이빗 클라우드의 모든 엔진에서 아바타 애플리케이션을 구축, 구성, 배포할 수 있다. 이를 통해 우리는 모든 플랫폼에 대화형 아바타 구축이 민주화되는 것을 목표로 한다"고 전했다.

ACE는 내년 초 임베디드 시스템과 모든 주요 클라우드 서비스에서 실행될 예정이다. 또한 위엔은 “우리는 감정을 분석하고 자동으로 아바타에 전송하는 기능을 추가했다"며, 음성에서 직접 얼굴 애니메이션을 만들 수 있는 AI 모델인 옴니버스 오디오투페이스의 최신 버전도 시연했다.

오디오투페이스의 향후 버전은 단일 사진으로 아바타를 생성해 질감을 자동으로 적용하고 애니메이션용 3D 메시를 생성한다. 또한 AI가 비디오를 보고 배울 수 있는 근육 움직임의 충실도가 높은 시뮬레이션을 자랑할 것이다. 가상 그루밍에 예측대로 반응하는 실물 같은 머리카락도 마찬가지이다.

3D 인터넷 기반 USD
메타버스 초강대국들은 3D 인터넷의 토대인 USD를 기반으로 한다.

엔비디아 옴니버스 및 시뮬레이션 기술 부사장인 레브 레바레디안(Rev Lebaredian)은 "메타버스는 3D 세계의 모든 것을 설명하는 표준 방법이 필요하다. 우리는 픽사(Pixar)가 개발하고 오픈 소스로 제공하는 USD가 인터넷의 다음 시대를 위한 표준 장면 설명이라고 믿는다”며, 2D 웹에서 USD를 HTML과 비교하면서 덧붙였다.

또한 레바레디안은 USD가 실제 세계보다 더 많은 기회를 여는 열쇠가 될 것이라고 설명했다.

그는 "우리는 실시간 대규모 가상 세계와 산업용 디지털 트윈에서 USD의 성능을 높이는 것을 목표로 하고 있다"고 말하며, 국제 문자 세트, 지리 공간 좌표 및 IoT 데이터의 실시간 스트리밍에 대한 USD 지원을 구축하기 위한 엔비디아의 계획을 언급했다.

▲ 엔비디아의 USD 투자 계획 사례

엔비디아는 USD 채택을 가속화하기 위해 USD에 대한 호환성 테스트, 인증 제품군을 출시할 예정이다. 이를 통해 개발자는 맞춤형 USD 구성 요소가 예상한 결과를 생성한다는 것을 알 수 있다.

또한 엔비디아는 산업용 디지털 트윈 및 AI 교육 워크플로에 사용할 수 있도록 설계된 시뮬레이션 지원 USD 자산 세트를 발표했다. 이는 USD 준비 장면, 주문형 튜토리얼, 문서 작성 및 강사 주도 과정을 포함해 온라인에서 무료 제공되는 다양한 USD 리소스에 포함된다.

레바레디안은 "우리는 모두가 USD를 구축하고 발전시킬 수 있도록 도움이 되길 바란다"라고 전했다.

팔레트를 확장하는 옴니버스
특별 연설의 가장 중요한 발표 중 하나는 200,000회 다운로드된 플랫폼인 엔비디아 옴니버스의 새 릴리스였다.

젠슨은 옴니버스를 “USD 플랫폼, 메타버스 애플리케이션 구축을 위한 툴킷, 가상 세계를 실행하기 위한 컴퓨팅 엔진”이라고 불렀다.

최신 버전에는 몇 가지 업그레이드된 핵심 기술과 인기 있는 도구에 대한 더 많은 연결을 제공한다.

옴니버스 커넥터(Connector)라고 불리는 링크는 현재 유니티(Unity), 블렌더(Blender), 오토데스크 알리아스(Autodesk Alias), 지멘스(Siemens) JT, 심스케일(SimScale), 개방형 공간 정보 컨소시엄(Open Geospatial Consortium) 등을 위해 개발 중이다. 커넥터는 PTC 크레오(Creo), 비주얼 컴포넌츠(Visual Components) 및 사이드(Side)FX 후디니(Houdini)용 베타 버전으로 제공된다. 이러한 새로운 개발은 옴니버스 네트워크의 일부인 지멘스 액셀러레이터(Siemens Xcelerator)에 합류해 더 많은 산업 고객을 디지털 트윈 시대로 맞이한다.

엔비디아의 전문 그래픽 담당 부사장인 스티브 파커(Steve Parker)는 인터넷과 마찬가지로 옴니버스는 산업 및 분야 전반에 걸쳐 사용자를 연결하는 "네트워크의 네트워크"라고 말했다.

▲ 엔비디아 옴니버스의 새로운 기능 예시 모음

AWS 및 어도비(Adobe)에서 델(Dell), 에픽(Epic) 및 마이크로소프트(Microsoft)에 이르는 하드웨어, 소프트웨어 및 클라우드 서비스 공급업체를 포함해 대략 12개의 기업들이 시그라프에서 옴니버스 기능을 선보인다. 또한 6개의 파트너가 AI 및 가상 세계와 같은 주제에 대해 엔비디아 기반 세션을 진행한다.

과속 물리학, 동물 애니메이션
파커는 옴니버스에서 몇 가지 기술 업그레이드를 자세히 설명했다. 여기에는 MDL(Material Definition Language)을 사용한 물리적으로 정확한 재료 시뮬레이션, 피직스(PhysX)를 사용한 실시간 물리학, 하이브리드 렌더링 및 AI 시스템인 RTX가 포함된다.

파커는 "이러한 핵심 기술 축은 엣지에서 클라우드에 이르는 엔비디아 고성능 컴퓨팅에 의해 구동된다"라고 말했다.

예를 들어, 피직스(PhysX)는 소프트 바디 및 입자 천 시뮬레이션을 지원하여 실시간으로 가상 세계에 더 많은 물리적 정확도를 제공한다. 엔비디아는 완전히 오픈 소스 MDL이므로 오픈(Open)GL 또는 벌칸(Vulkan)과 같은 그래픽 API 표준을 쉽게 지원할 수 있으므로 개발자가 재료 표준을 보다 광범위하게 사용할 수 있다.

옴니버스에는 엔비디아 리서치(Research)에서 개발한 RTX 그래픽과 AI를 결합하는 신경 그래픽 기능도 포함된다. 예를 들면 다음과 같다.

• 동물 모델러(Animal Modelers)를 사용하면 아티스트가 포인트 클라우드로 동물의 형태를 반복한 후 자동으로 3D 메시를 생성할 수 있다.
• 엔비디아 고갱(GauGAN)의 차세대 버전인 고갱(GauGAN)360은 옴니버스 장면에 쉽게 로드할 수 있는 8K, 360도 파노라마를 생성한다.
• 인스턴트(Instant) NeRF는 2D 이미지에서 3D 객체와 장면을 만든다.

머신 러닝 프레임워크인 엔비디아 모듈러스(Modulus)용 옴니버스 확장(Omniverse Extension)을 통해 개발자는 AI를 사용해 실제 물리 시뮬레이션 속도를 최대 10만 배까지 높일 수 있으므로 메타버스는 실제 세계처럼 보이고 느껴진다.

또한 시그라프의 활발한 콘테스트 주제인 옴니버스 머시니마(Omniverse Machinima)는 포스트 스크립텀(Post Scriptum), 비욘드 더 와이어(Beyond the Wire) 및 쉐도우 워리어(Shadow Warrior) 3의 콘텐츠와 오디오투제스처(Audio2Gesture)와 같은 새로운 AI 애니메이션 도구를 제공한다.

ILM(Industrial Light & Magic)의 데모는 또 다른 새로운 기능을 보여준다. 옴니버스 딥서치(Omniverse DeepSearch)는 AI를 활용해 팀이 태그가 지정되지 않은 자산의 방대한 데이터베이스를 직관적으로 검색할 수 있도록 지원해 메타데이터에 구체적으로 나열되지 않은 경우에도 용어에 대한 정확한 결과를 제공한다.

스마트해진 그래픽
신흥 메타버스의 필수 축 중 하나는 뉴럴 그래픽(Neural graphics)이다. 뉴럴 모델을 활용해 컴퓨터 그래픽을 가속화하고 향상시키는 하이브리드 분야이다.

엔비디아 AI의 부사장인 산자 피들러(Sanja Fidler)는 “뉴럴 그래픽은 AI와 그래픽을 결합해 데이터로부터 학습할 수 있는 미래 그래픽 파이프라인의 길을 열어준다. 뉴럴 그래픽은 사용자가 가상 세계를 만들고 시뮬레이션하고 경험하는 방법을 재정의할 것"이라고 말했다.

AI는 아티스트가 메타버스를 만드는 데 필요한 방대한 양의 3D 콘텐츠를 생성하는 데 도움이 될 것이다. 예를 들어, 뉴럴 그래픽을 사용해 물리적 세계의 사물과 행동을 빠르게 포착할 수 있다.

피들러는 2D 이미지에서 3D 객체 또는 장면을 생성하는 도구인 인스턴트(Instant) NeRF를 수행하는 엔비디아 소프트웨어를 설명했다. 이는 시그라프에서 엔비디아 연구진이 발표한 총 16개의 논문 가운데 두 개의 최우수 논문상 중 하나의 주제이다.

다른 최우수 논문상에서는 뉴럴 그래픽이 e스포츠 및 AR/VR 애플리케이션에서 반응 지연을 예측하고 줄일 수 있는 모델을 지원한다.

▲ 뉴럴 그래픽은 AI를 그래픽 파이프라인에 융합한다.

시그라프에서 엔비디아가 공개한 새로운 소프트웨어 개발 키트로 디자이너와 연구원은 뉴럴 그래픽 및 기타 기술을 적용해 자신만의 작품을 만들 수 있다.

피들러는 그 중 하나인 카올린 위스프(Kaolin Wisp)를 설명했다. 카올린 위스프는 몇 줄의 코드로 3D 장면 또는 물체를 나타내는 AI 모델 신경 분야를 생성하는 도구 모음이다.

이와 별도로 엔비디아는 뉴럴(Neural)VDB를 발표했다. 이는 시각 효과에서 과학 컴퓨팅에 이르기까지 물, 화재, 연기 및 클라우드를 시뮬레이션하고 렌더링하는 오픈 소스 표준 오픈(Open)VDB의 차세대 진화이다.

뉴럴VDB는 신경 모델과 GPU 최적화를 사용해 메모리 요구 사항을 크게 줄인다. 이로 인해 사용자는 매우 크고 복잡한 데이터 세트와 실시간으로 상호 작용하고 더 효율적으로 공유할 수 있다.

젠슨은 "우리 시대의 가장 강력한 기술력인 AI는 컴퓨터 그래픽을 포함한 컴퓨터 과학의 모든 분야에 혁명을 일으킬 것이며, 엔비디아 RTX는 뉴럴 그래픽의 엔진이다"라고 말했다.