엔비디아(www.nvidia.co.kr)가 새로운 버전의 엔비디아 맥신(NVIDIA Maxine) AI 개발자 플랫폼을 공개했다. 새로운 버전의 맥신 AI 개발자 플랫폼은 사용자 유연성, 참여도, 효율성을 향상시키는 기능으로 최첨단의 실시간 화상 회의 애플리케이션 개발을 혁신적으로 변화시킨다.

엔비디아 맥신을 사용하면 개발자가 AI 기능을 쉽게 통합하여 개인에게 맞춰진 매력적인 화상 회의 환경을 만들 수 있다. 이를 통해 엔비디아는 100억 달러 규모의 화상 회의, 콜센터, 스트리밍 애플리케이션 개발자들이 워크플로우에 AI를 쉽게 통합하고 생산성을 높일 수 있도록 지원한다.

맥신은 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼을 통해 제공된다. 맥신은 향상된 비디오와 오디오 품질, 증강 현실(AR) 효과와 같은 최신 AI 기반 기능을 제공해 일상적인 화상 통화를 매력적인 협업 경험으로 전환할 수 있다.

화상 회의의 가능성을 확대하는 맥신의 새로운 기능
맥신 AI 개발자 플랫폼을 통해 개발자는 화상 회의 사용자의 참여도를 높여주는 실시간 AI 강화 기능을 쉽게 활용하고 통합할 수 있다.

노이즈 감소, 비디오 노이즈 제거와 업스케일링, 스튜디오 음성 등의 기능은 오디오와 비디오 스트림의 품질을 향상시킨다. 시선 보정, 라이브 초상화, 비디오 리라이팅(video relighting), 클라우드 마이크로서비스 맥신 3D와 같은 고급 기능을 통해 개발자는 화상 회의 사용자 간의 참여도와 개인적 유대감을 강화할 수 있다.

이 플랫폼은 개발자가 소프트웨어 개발 키트, 마이크로서비스, 심지어 엔비디아의 클라우드 인프라에서 제공되는 API 엔드포인트까지 다양한 방법으로 맥신 기능을 제공한다. 이를 통해 오디오, 비디오, 증강 현실 효과 등을 위한 최첨단 AI 모델의 사용 범위가 넓어진다.

현재 사용 가능한 맥신 프로덕션 기능 업데이트는 다음과 같다.

 아이 컨택(eye contact): 향상된 아이 컨택 모델은 시선의 방향을 자연스럽게 전환해 회의 참가자의 참여도를 높인다.
 음성 폰트(Voice Font): 발표자의 언어 정보와 운율(리듬과 어조)은 그대로 유지하면서, 발표자의 음성을 원하는 대상의 음성에 일치시킨다.
 배경 소음 제거(Background Noise Reduction, BNR) 2.0: 단어 인코딩 과정 중 오류율을 줄이기 위해 사람이 청취할 때와 언어 인코딩 과정 중에 발생하는 노이즈를 감소시키는 성능을 향상시킨다.

올 봄, 미리 사용해 볼 수 있는 새로운 기능은 다음과 같다.

 음성 라이브 초상화: 이 모델은 사용자가 직접 음성이나 모든 오디오 소스를 사용해 자신의 초상화를 제어할 수 있다. 이는 화상 회의 중에 항상 최상의 모습을 유지할 수 있도록 지원한다.
 스튜디오 보이스(Studio Voice): 이 모델은 일반 헤드셋, 노트북, 데스크톱의 마이크를 사용하더라도 고급 스튜디오의 마이크의 소리를 낼 수 있게 해준다. 이를 통해 사용자는 화상 회의 중에 항상 최상의 음질로 소리를 낼 수 있다.

맥신 얼리 액세스 프로그램은 곧 출시될 기능들을 사전 제작과 사전 출시 단계의 버전으로 공유해 개발자로부터 맥신 모델의 유용성과 개선점에 대한 피드백을 받을 계획이다. 이번 출시에서 개발자들에게 개발 과정의 초기 단계 기능들에 대한 피드백을 요청하고 있다. 이에 포함되는 기능은 다음과 같다.

 맥신 3D: 이 클라우드 마이크로서비스는 지난 시그래프(SIGGRAPH) 2023에서 연구 데모로 선보인 바 있다. 2D 비디오를 3D로 변환하는 실시간 NeRF 기술을 통해 화상 회의에 새로운 차원의 경험을 선사한다.
 비디오 리라이팅: 이 새로운 모델은 HDR(하이 다이내믹 레인지) 이미지를 사용해 사용자의 조명을 조절해 다양한 배경 이미지와 자연스럽게 일치시킬 수 있다.
 API 엔드포인트: 개발자가 엔비디아 클라우드 인프라를 통해 맥신 기능에 쉽게 접근할 수 있도록 해 맥신 기능의 통합을 더욱 간편하게 만들었다.

유고(Jugo), 아스널 축구클럽(Arsenal Football Club)과 함께 성공
스포츠 경기는 국경과 언어의 장벽을 넘어 팀과 팬들을 하나로 묶어주는 놀라운 경험을 선사한다. 유고는 맥신의 AI 그린 스크린(AI Green Screen) 기능을 통해 가상 이벤트를 위한 디지털 플랫폼을 제공한다. 이를 통해 기업이 풀 프로덕션 스튜디오가 없더라도 언리얼 엔진(Unreal Engine)으로 전 세계 팬들을 하나로 모으는 몰입형 경험을 제작할 수 있도록 지원한다.

영국 프리미어리그의 강호 아스널 FC는 유고(Jugo)와 협업해 6억 명에 달하는 전 세계 팬들과 소통하는 방식을 혁신하고 있다. 이번 협업은 새로운 가상 스포츠 엔터테인먼트 경험을 제공해 전 세계 팬들의 참여도를 높인다. 유고는 아스널 경기에 인간적인 소통의 힘을 더해 팬들과 스포츠 영웅 간에 현실감 넘치는 연대감을 만들어 낸다.

유고 익스피리언스(Jugo Experience)의 CEO인 리차드 스터크(Richard Stirk)는 "유고 익스피리언스 플랫폼은 글로벌 인지도와 참여를 추구하는 브랜드 시장을 변화시키고 있다. 아스날 FC는 글로벌 브랜드 확장의 완벽한 사례를 보여준다. 몰입감 넘치는 브랜드 경험을 상황에 맞춰 유연하게 제공할 수 있는 기능은 우리가 제공하는 서비스의 핵심이다. 엔비디아 맥신 AI 개발자 플랫폼은 이러한 유연성을 위한 필수 구성 요소다"라고 말했다.

AI로 강화된 화상 회의의 새로운 표준 설정
제멜로(Gemelo), 펙십(Pexip), 스펙타클(Spectacle), 비디오리퀘스트(VideoRequest)는 얼리 액세스 프로그램의 최신 기능으로 상용 카메라와 마이크를 통해 전문적인 시청각 스튜디오를 구축한 최초의 고객들이다.

제멜로 CEO 폴 재스키(Paul Jaski)는 "제멜로는 수년 동안 맥신 모델의 사전 출시 버전 테스트에 참여해 왔다. 우리는 맥신 모델 개발의 초기 단계에서 피드백을 제공할 수 있게 된 것을 매우 소중하게 생각한다. 최신 기능인 음성 라이브 초상화 기능은 고객에게 비디오 메시지를 맞춤 제작하는 과정에서 더 많은 선택의 자유를 줌으로써 새로운 개인 맞춤화 시대의 문을 열 것"이라고 말했다.

펙십의 최고 기술 책임자인 이안 모티머(Ian Mortimer)는 "우리가 맥신 기능의 개발 버전을 테스트하고 최종 제품 모델을 이끌 수 있게 되어 기쁘다. 최신 버전의 맥신 BNR을 테스트하면서 우리는 명료도와 음성 품질이 크게 개선된 것을 확인했다. AI 번역의 모든 단계에서 정확도를 최적화할 수 있도록 테스트 파라미터를 계속 개선할 계획이다"라고 말했다.

스펙타클의 대표인 벤자민 포트만(Benjamin Portman)은 "엔비디아 맥신 아이 컨택 API를 사용하면 스펙타클 앱 사용자에게 매력적인 비디오 처리 기능을 제공하는 경로가 크게 간소화된다. 이로써 인프라와 자원을 많이 소모하는 통합 작업에 대해 걱정할 필요가 없어졌다. 이를 통해 며칠 만에 개념 증명을 만들어 최종 제품의 개발과 출시 속도를 앞당길 수 있었다"고 말했다.

비디오리퀘스트의 최고기술책임자인 조 타일러(Joe Tyler)는 "맥신 스튜디오 보이스를 초기 테스트한 결과 향상된 비디오 제작과 비디오 추천에 오늘날 AI가 제공하는 새로운 가능성이 인상적이었다. 새로운 맥신 BNR과 아이 컨택 기능은 까다로운 녹화 환경을 해결하고 고객의 동영상 품질을 높이는 데 도움이 될 것"이라고 말했다.