유니티 코리아(대표 김인숙, www.unity3d.com/kr)가 후원하고 RL 코리아(Reinforcement Learning Korea, 강화학습 코리아)가 주최한 ‘2021 RL 코리아 드론 딜리버리 챌린지’ 행사가 성료되어 어워즈 수상작들을 발표했다.

RL 코리아는 2017년 설립된 강화학습을 위한 국내 최대 규모의 오픈 커뮤니티로, 올해 처음으로 시작된 ‘2021 RL 코리아 드론 딜리버리 챌린지’는 드론이 물류창고의 물품들을 목적지로 빠르고 안전하게 배송하도록 학습시키는 것을 목표로 유니티로 구현된 시뮬레이션 환경에서 강화학습 알고리즘을 학습하는 챌린지다. 11월 1일부터 12월 7일까지 약 5주간 진행됐으며, 총 28개 팀이 861회 챌린지 모델을 제출하며 강화학습에 대한 뜨거운 관심을 확인할 수 있었다.

이번 챌린지에서 상위 10 위권 내 7팀, 전체 28개 제출작 중 17개가 유니티 머신러닝 에이전트(Unity Machine Learning Agents, 이하 ML 에이전트)에서 제공하는 알고리즘을 통해 학습을 진행했으며 나머지 팀들의 경우 ML에이전트에서 제공하는 파이선(Python) API를 통해 알고리즘을 구현했다. 2017년 처음 출시된 ML 에이전트는 복잡한 시뮬레이션 환경하에서 강화학습 관련 연구 프로젝트나 자가 학습을 통해 스스로 진화하는 콘텐츠가 포함된 게임 등을 제작하는 데 활용된다.

2021년 5월 새롭게 공개된 ML 에이전트 v2.0은 협동형 동작을 훈련시키는 기능, 에이전트가 환경 내 다양한 엔티티를 관찰하는 기능, 여러 작업을 훈련하도록 지원하는 작업 파라미터화 기능 등 새로운 개선 사항들을 통해 복잡한 협동형 환경을 보다 완벽하게 지원한다.

챌린지에 제출된 모델들은 배달 완료 수 및 소요 시간을 기반으로 심사하였으며, 총 4팀이 수상했다. 최우수상은 rmnz, 우수상은 노마진 팀이 수상했고, 상금은 200만원과 100만원이 각각 주어졌다. 또한 ML 에이전트 v2.0 에서 제공하는 알고리즘을 사용하여 가장 우수한 성적을 받은 두 팀에게 주어지는 유니티 특별상에는 Hwang과 NewBe 팀이 선정돼 50만원이 주어졌다.

RL 코리아 민규식 연구원은 “유니티를 활용할 경우 비교적 간단하게 멋진 시뮬레이션 환경을 개발하는 것이 가능하다. 또한 유니티의 ML 에이전트를 사용하면 강화학습 전문가부터 초보자들까지 누구나 쉽게 챌린지에 참여할 수 있을 것으로 생각하여 유니티와 ML 에이전트를 기반으로 챌린지 환경을 개발하게 되었다.”며, “이번 챌린지를 통해 참가자 분들이 파이선 API의 사용부터 ML에이전트를 통한 학습까지 ML 에이전트의 다양한 기능들을 사용해볼 수 있는 기회가 되었을 것으로 생각한다.”고 밝혔다.

김인숙 유니티 코리아 대표는 “올해 처음 진행된 행사를 통해 강화학습 분야에서 뛰어난 재능을 가진 팀들과 우수한 결과를 보여준 알고리즘들을 확인할 수 있어 기뻤다”며, “참가자들이 유니티 구현된 시뮬레이션 환경에서 ML 에이전트가 제공하는 뛰어난 안정성과 성능을 다시 한 번 확인할 수 있는 좋은 기회였으며, 앞으로도 크리에이터들이 쉽고 편리하게 개발할 수 있도록 노력할 것이다”라고 말했다.