국내 연구진이 인공지능을 활용해 가상현실(VR) 콘텐츠를 즐길 때 나타나는 멀미를 분석, 이를 줄일 수 있는 기술을 개발했다. 이로써 VR 콘텐츠 개발자들이 창의성을 발휘하면서도 다양한 응용 서비스를 만드는데 큰 도움이 될 전망이다.

한국전자통신연구원(ETRI)은 26일, 인공지능 기술을 기반으로 VR 멀미 정도를 정확히 예측할 수 있는 SW 기술 개발에 성공했다고 밝혔다.

VR 기술이 교육, 엔터테인먼트, 스포츠 등 다양한 분야로 확장되고 있지만 VR을 제대로 느끼기 위해 착용하는 헤드 마운티드 디스플레이(HMD) 등을 장시간 착용 시 사용자에 따라 멀미나 구토, 어지러움 현상이 나타나 실용화 및 서비스 확산에 걸림돌이었다.

하지만 멀미 발생과 관련 있는 요인들이 많아 명확한 원인과 해결책을 찾기 어려웠다. 멀미 발생 요인들 간 정량적인 상관관계를 규명하는 체계적인 분석을 진행하기 어려웠기 때문이다.

ETRI는 사용자 500명 이상으로부터 실험 데이터를 얻어 기계학습을 적용하여 VR 요소들과 VR멀미 간 상관성을 도출하는 기술을 개발했다. VR은 사용자별로 멀미 경험도 차이가 크다는 점을 고려하여 개인별 특성이 반영된 체험 데이터를 대규모로 활용했다는 점에서 더욱 가치가 크다.

연구진이 개발한 『VR 휴먼팩터 기반 VR 멀미 분석 및 모니터링 도구』는 사용자로부터 생체신호 정보를 얻어 인공지능으로 VR 멀미를 예측하는 학습엔진 SW다. 즉, 개인별 VR 멀미 유발 유형을 바이오마커 패턴 관찰로 분석하는 기술이다.

본 기술은 개인 휴대형 생체신호 장비와 연동되어 심리·정신 분석을 위한 SW로 헬스케어 분야에도 활용되고 있다. 특히, ㈜메딕션사의 VR 기반 알코올 중독 치료기인‘메딕션-S’에 탑재되어 의료기기 허가·심사를 추진 중이다.

연구진이 개발한 또 다른 기술인 『VR 멀미 저감용 콘텐츠 저작 도구』를 활용하면 콘텐츠 제작 과정에서 VR 요소들을 실시간 조절도 가능해 간편하게 멀미를 줄일 수 있다.

기존에는 VR 콘텐츠를 개발 시 중간 검증을 반복하며 멀미에 영향을 끼칠만한 요소들을 수작업으로 조정했다. 주관적으로 수정을 해야 하고 시간과 비용도 많이 들었다.

하지만, 본 도구는 레벨 1~5까지 정량적인 지표를 바탕으로 객관적으로 콘텐츠를 조정할 수 있다. 일반적인 게임 개발 시 널리 사용되고 있는 상용 유니티(Unity) 게임엔진 프로그램과도 쉽게 호환된다. 이로써 직관적이고 실시간으로 멀미 유발 요소들을 편집할 수 있어 개발 편의성이 한층 더 높아질 전망이다.

ETRI 기술을 적용한 상용 VR 게임도 출시되었다. 공동연구기관으로 참여한 ㈜드래곤플라이의‘스페셜포스 VR 인베이전’은 연구진의 VR 멀미 저감용 콘텐츠 저작도구를 적용해 게임 플레이상 멀미를 대폭 저감하고 2019년부터 국내외 시장에 서비스 중이다.

연구진은 아울러, 체감형 VR 장치에서 VR 멀미도를 분석 및 저감할 수 있는 『VR 휴먼팩터 기반 모션데이터 편집 도구』도 개발했다. 본 기술은 VR 영상과 사용자 행동 간 정보량 차이를 엔트로피로 해석, 활용하면서 콘텐츠를 자동 조정하거나 편집하면서 멀미를 저감할 수 있다. 주로 탑승형 체감 놀이기구에 적용되거나 VR 멀미 및 안전성 분석에 활용될 예정이다.

본 성과는 과학기술정보통신부 디지털콘텐츠과의 첨단융복합콘텐츠기술개발사업 연구를 통해 얻을 수 있었다. 특히, 2020년도 국가연구개발 우수성과 100선에도 선정되면서 VR 기술 확산을 위한 청신호를 밝혔다.

ETRI CG/Vision연구실 손욱호 박사는“세계 최초로 개발한 VR 멀미 분석 및 예측 기술을 활용해 고난도 작업 훈련, 정신질환 치료, 의료 시뮬레이션 등 다양한 분야로 상용화를 촉진할 수 있도록 노력할 예정이다.”고 밝혔다.

그간 ETRI는 VR 기술 관련 국제표준 제정을 위해서도 많은 노력을 기울여왔다. 특히, IEEE 국제표준화 기구(SA) 산하 워킹그룹 에 에디터로 참여하며 관련 작업을 주도한 결과, 현재 국제표준안이 최종 승인을 받았으며 내년 초에 공표될 예정이다. ETRI가 개발한 VR 멀미 저감 제작 API, VR 멀미도 분석 및 예측 방법 등의 기술이 국제표준특허로 자리매김하게 된 것이다.

ETRI는 이번 국제표준 제정 기술의 핵심 기초 데이터인 VR 멀미 임상실험 데이터베이스를 IEEE를 통해 국제적으로 공개하고 개발된 VR 멀미 예측 모듈도 한국가상증강현실산업협회(KoVRA)를 통해 실행파일 형태로 공개하면서 VR 연구 생태계 발전을 위해 공헌할 예정이다.

연구진은 이전에도 VR 멀미 저감 응용 개발을 위한 지침 항목들을 담은「VR 이용 및 제작 안전 가이드라인」을 2017년 국내 최초로 공개한 바 있다.

ETRI는 향후 VR 사용의 효용성을 검증하기 위한 VR 효과성 측정 및 검증기술을 개발하는 후속 연구를 진행하는 한편, 개발한 기술을 해외로 홍보하면서 관련 기술을 이전할 계획이다.