“인기 가수가 본인과 똑같은 아바타와 함께 무대에서 춤춘다” “게임 캐릭터를 내 책상 위에 소환해 재밌게 논다” “프로 골프선수의 스윙 자세를 360도로 돌려보며 분석한다” 혼합현실(Mixed Reality) 기술로 가상과 현실을 넘나드는 세상이 온다.

한국과학기술정보연구원·한국콘텐츠진흥원에 따르면, 2022년 글로벌 혼합현실 시장 규모는 2조 1010억원에 이를 전망이다. 전세계 ICT기업은 AR과 VR의 기술적 장점을 융합해 가상 이미지를 현실 공간 속에 실감나게 구현하는 혼합현실 기술에 주목하고 있다.

SK텔레콤은 혼합현실 제작소 '점프 스튜디오(www.jumpstudio.co.kr)'를 29일부터 가동한다고 밝혔다. 5G 서비스 강화 차원에서 아시아 최초로 혼합현실 기술 선도기업 마이크로소프트와 초협력한 결과다.

'점프 스튜디오'의 혼합현실 콘텐츠는 양사 실감미디어 기술의 집약체다. 마이크로소프트의 볼류메트릭 비디오 캡처(Volumetric Video Capture) 기술로 인물의 역동적인 움직임을 홀로그램 비디오로 구현하고, SK텔레콤 'T 리얼 플랫폼’의 공간인식·렌더링 기술로 홀로그램과 현실 공간이 자연스럽게 어우러진 콘텐츠를 완성한다.

SK텔레콤은 점프 스튜디오를 전담하는 전문 제작진을 상시 운영할 예정이다. 점프 스튜디오 제작진은 연출, 촬영, 컴퓨터 프로세싱, 그래픽 분야 전문가 20여명으로 구성되어 있다.

■ 어떤 움직임도 손쉽게 캡처해 홀로그램으로 생성… 실감미디어 대중화 눈앞

'점프 스튜디오'의 혼합현실 기술은 ICT 업계에서 단연 최고 수준으로 평가받고 있다. 스튜디오에 설치된 106대의 카메라를 통해 360도로 초당 최대 60프레임 촬영이 가능해, 실제처럼 자연스럽게 움직이는 고화질 3D 홀로그램을 생성할 수 있다.

‘점프 스튜디오’는 AI, 클라우드, 3D 프로세싱, 렌더링 기술로 기존 3D 모델링 작업의 수작업 공정을 상당 부분 자동화함으로써 콘텐츠 제작 비용과 기간을 획기적으로 줄일 수 있다.

예를 들어 3분 분량의 혼합현실 콘텐츠를 만든다고 가정하면, 기존 방식으로는 통상 3~4개월간 수 억원 대 이상의 비용을 들여 제작해야 했지만 점프 스튜디오에서는 1~2주만에 절반도 안되는 비용으로 완성할 수 있다.

‘점프 스튜디오’는 스튜디오에서 1분간 촬영했을 때 600GB에 달하는 영상 데이터를 모바일 스트리밍이 가능한 300MB 수준으로 자동 압축해 제공하며, 기존 미디어 제작 시스템과 호환성이 높은 비디오 포맷(MPEG4)을 지원한다. 실감미디어 콘텐츠를 대폭 늘릴 수 있는 기반이 마련됐다고 볼 수 있는 부분이다.

기존 3D 모델링 콘텐츠 제작 방식은 [촬영 → 메쉬(Mesh)구성 → 텍스처(Texture) → 리깅(Rigging) → 모션생성 → 결과물]과 같은 복잡한 수작업 과정을 거쳤다. 하지만 점프 스튜디오는 메쉬 구성부터 모션생성까지의 절차를 모두 자동으로 처리함으로써 짧은 시간 안에 양질의 결과물을 제공한다.

■ 전세계 엔터테인먼트, 영화 분야서도 '혼합현실'이 뜬다!

마이크로소프트는 이미 엔터테인먼트, 영화, 게임 등 다양한 분야에 혼합현실 콘텐츠를 접목해 전세계의 이목을 끌고 있다.

2018년에는 VR 영화 '어웨이크(AWAKE)' 제작에 참여해 등장인물들을 홀로그램으로 구현했으며, 수년전부터 미국 록밴드 스매싱 펌킨스의 보컬 빌리 코건(Billy Corgan) 등 여러 유명 가수들의 홀로그램 뮤직비디오와 공연을 선보이기도 했다.

이외에도 움직이는 3D 홀로그램을 활용할 수 있는 분야는 무궁무진하다. 의료진이 환자를 홀로그램으로 보며 치료 방법을 연구하거나, 살아있는 유명 인물을 홀로그램으로 만들어 박물관에 영구히 보존할 수도 있다.

SK텔레콤은 혼합현실 콘텐츠를 꾸준히 확보해 점프 AR∙VR 서비스의 볼거리를 대폭 늘려나갈 예정이다.

또 엔터테인먼트 기업, 공연/광고 기획사, 게임/영화 제작사 등 다양한 B2B 고객과 파트너십을 맺고 혼합현실 콘텐츠를 제작 및 공급할 계획이다. 아이돌을 3D 홀로그램으로 만들어 공연과 광고에 활용하거나, 게임과 영화 속 캐릭터를 제작하는 사업이 가능해진다.

스티브 설리번(Steve Sullivan) 마이크로소프트 혼합현실 스튜디오 사업 총괄 담당은 “SK텔레콤과 협력해 아시아 최초로 마이크로소프트의 볼류메트릭 비디오 기술을 적용한 점프 스튜디오를 선보여 기쁘다”며, “SK텔레콤의 기술력이 결집된 점프 스튜디오가 한국을 넘어 전세계에 큰 영향을 미칠 것으로 믿는다”고 밝혔다.

전진수 SK텔레콤 5GX서비스사업본부장은 “점프 스튜디오를 통해 혼합현실 콘텐츠를 확대해 실감미디어 대중화 시대를 열 것”이라며, “점프 스튜디오를 아시아 대표 콘텐츠 허브로 만드는 것이 목표”라고 강조했다.