엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 생성적 대립 신경망(Generative Adversarial Network, 이하 GAN)인 GameGAN를 활용해 40년 전 처음 일본에서 출시된 이후로 전 세계적으로 게임의 전설이 된 팩맨(PAC-MAN)의 50,000개에 달하는 에피소드를 학습하고, 기초 게임 엔진 없이 인공지능(AI)을 기반으로 복고풍 클래식 게임으로 재탄생 시켰다고 밝혔다.

GameGAN은 생성적 대립 신경망인 GAN을 탑재해 컴퓨터 게임 엔진을 모방한 최초의 신경망 모델이다. GAN 기반 모델은 생성모델과 분류모델이라는 두 개의 신경망으로 구성돼 있으며, 원본과 흡사한 새로운 콘텐츠 생성 방법을 학습한다.

김승욱 엔비디아 연구원 겸 프로젝트 수석 저자는 “GameGAN은 GAN 기반 신경망을 활용해 게임 엔진을 모방한 최초의 연구다. 우리는 AI가 게임 속 움직이는 에이전트의 스크린 플레이만 보고 주어진 환경의 규칙을 학습할 수 있는지 확인하고 싶었다. 그런데 AI가 이를 해냈다”고 말했다.

인공 에이전트가 GAN 생성 게임을 플레이하면서, GameGAN은 에이전트의 행동에 대응하며, 게임 환경 속 새로운 프레임을 실시간으로 생성한다. GameGAN은 다양한 레벨과 버전을 갖춘 게임의 스크린 플레이를 학습한 다음, 단 한번도 본 적 없던 게임 레이아웃을 생성할 수 있다.

이러한 기능은 게임 개발자가 새로운 게임 레벨의 레이아웃을 자동으로 생성할 때, 혹은 AI 연구원이 자율 머신 훈련을 위한 시뮬레이터 시스템을 쉽게 개발하고 싶을 때 사용할 수 있다.

GameGAN 훈련을 위해 팩맨 데이터를 제공한 세계적인 게임 제작사 반다이 남코 엔터테인먼트(BANDAI NAMCO Entertainment)의 연구 개발사 반다이 남코 리서치(BANDAI NAMCO Research Inc.)의 연구원 코이치로 츠츠미(Kichita Tsutsumi)는 “연구 결과를 보고 깜짝 놀랐다. AI가 게임 엔진 없이 대표 고전 게임인 팩맨을 재현했다는 것을 믿을 수 없었다. 이 연구는 게임 개발자들이 새로운 레벨의 레이아웃, 캐릭터, 심지어 게임 자체를 개발하기 위한 창의적인 프로세스를 어떻게 가속화할 수 있을지에 대한 가능성을 보여주는 셈이다”고 말했다.

올 하반기 누구나 엔비디아 AI 플레이그라운드(AI Playground)에서 이 연구를 통해 개발된 데모 게임을 경험할 수 있다.

추억의 게임을 재탄생시킨 AI
1981년 미국에서는 팩맨과 같이 동전을 사용하는 오락게임을 75,000시간 동안 플레이하기 위해 수십억 개의 동전이 사용됐다. 이후로도 수십 년간 최고의 인기를 누린 팩맨은 PC와 게임 콘솔, 모바일 버전으로 진화해왔다.

GameGAN 에디션은 기존의 게임 엔진 대신 신경망을 기반으로 팩맨의 게임 환경을 생성한다. AI는 한 프레임에서 다른 프레임으로 이동할 때마다 시각적인 일관성을 유지하기 위해 앞서 무엇이 생성됐는지 기억해 가상 세계를 추적한다.

GAN은 게임의 종류와 상관없이 단순히 과거 게임 플레이가 녹화된 스크린과 에이전트의 키스트로크(keystroke) 정보를 수집하며 규칙을 학습한다. 게임 개발자는 이와 같은 도구를 사용해 기존 게임 레벨의 스크린플레이를 학습 데이터로 삼아 해당 게임의 새로운 레이아웃을 자동으로 구성할 수 있다.

반다이남코 리서치의 데이터를 활용해 토론토에 위치한 엔비디아 AI 리서치 랩(NVIDIA AI Research Lab)의 김승욱 연구원과 관계자들은 엔비디아 DGX 시스템을 기반으로 팩맨 에피소드 (총 수백만 프레임)의 신경망과 게임을 플레이하는 AI 에이전트의 키스트로크 데이터를 짝을 지어 훈련시켰다.

훈련된 GameGAN 모델은 일관된 미로 모양, 점, 파워 펠렛(Power Pellets)과 같이 게임 환경에서 고정되어 움직이지 않는 요소와 고스트나 팩맨처럼 움직이는 요소들을 생성한다.

또한, 이 모델은 게임의 간단하거나 복잡한 주요 규칙들을 모두 학습한다. 기존의 게임 규칙과 같이 팩맨은 미로의 벽을 뚫고 이동할 수 없다. 팩맨은 미로 속에서 이동하면서 점을 먹고, 펠렛을 먹으면 유령이 파란색으로 변하며 달아난다. 팩맨이 미로의 한쪽 모서리로 빠져나가면 반대편 모서리로 순간 이동하게 된다. 유령과 부딪치면 화면이 깜빡이며 게임이 끝난다.

GameGAN 모델은 움직이는 캐릭터와 배경을 분리할 수 있기 때문에, 야외 미로로 배경을 재구성하거나 팩맨을 사용자가 좋아하는 이모티콘으로 바꿀 수 있다. 게임 개발자들은 이 기능을 사용해 새로운 캐릭터 아이디어나 게임 테마를 실험할 수 있다.

게임을 넘어, 자율 머신까지
자율 로봇은 보통 AI가 현실 세계의 사물들과 상호 작용하기에 앞서 특정 환경 속 규칙을 시뮬레이터를 통해 학습한다. 개발자는 사물들이 상호 작용하는 방식과 환경 속에서 조명이 어떻게 작동할지에 대한 규칙을 코딩해야 하기 때문에 시뮬레이터를 개발하는 데 많은 시간이 소요된다.

시뮬레이터는 사물을 옮기는 방법을 학습하는 물류창고 로봇에서부터 음식이나 의약품을 운반하기 위해 길을 찾는 운반 로봇 등 모든 종류의 자율 머신 개발에 사용된다.

GameGAN은 이와 같은 용도의 복잡한 시뮬레이터 개발 과정을 간단한 신경망 학습으로 대체할 수 있다는 가능성을 보여줬다.

가령, 자동차에 카메라를 설치하면 카메라를 통해 도로의 모습이나 운전자가 운전대를 돌리거나 엑셀을 밟는 모습을 기록할 수 있다. 이렇게 수집된 데이터는 운전자나 자율주행 자동차가 브레이크를 세게 밟는 것과 같은 행동을 취할 경우 어떤 일이 벌어질지 예측하는 딥 러닝 모델을 훈련시키는 데 사용될 수 있다.

토론토 엔비디아 연구소 디렉터 산자 피들러(Sanja Fidler)는 “영상을 보고 특정 환경에서 에이전트가 취하는 행동을 보는 것 만으로 운전 규칙이나 물리학 법칙을 모방하도록 학습하는 AI가 개발될 수도 있다. GameGAN은 이러한 방향으로 나아가는 첫 걸음”이다고 말했다.

엔비디아 연구소는 전 세계적으로 200명 이상의 과학자들로 구성되어 있으며 AI, 컴퓨터 비전, 자율 주행 자동차, 로보틱스, 그래픽과 같은 분야를 집중적으로 연구하고 있다.

GameGAN의 개발에 엔비디아 연구원인 산자 피들러, 김승욱, 조나 필리언(Jonah Philion), 토론토 대학생 유하오 저우(Yuhao Zhou), MIT 교수 안토니오 토랄바(Antonio Torralba)가 참여했다. 관련 논문은 6 월 열릴 예정인 CVPR(Conference on Computer Vision and Pattern Recognition)에서 발표될 예정이다.