구글딥마인드가 바둑 인공지능(AI) '알파고', 스타크래프트 AI '알파스타'에 이어 이번엔 3차원(3D) 슈팅 비디오게임에서 다른 플레이어들과 협업해 전술을 펼칠 수 있는 AI를 개발하는 데 성공했다. 사람이 경험하는 현실 세계에 더 근접한 것으로 목표 달성을 위해 복잡한 공간에서 여러 개체가 상호작용 해야 하는 자율주행차, 군집 드론(로봇), 군사 전술 등 다양한 분야에 응용이 가능할 것으로 기대를 모은다.
구글딥마인드 연구진은 멀티플레이어 3D 슈팅 비디오게임인 '퀘이크 3 아레나: 캡처 더 플래그(깃발뺏기)'에서 딥러닝(심층기계학습) 기술을 이용해 인간을 능가하는 수준의 협업 능력을 갖춘 AI 플레이어(요원) '포더윈(FTW·승리를 위해)'을 개발했다고 국제학술지 '사이언스' 31일자에 발표했다. 지난해 7월 개발 과정 중 일부를 공개한 데 이어 이번에 논문을 통해 정식 발표한 것이다.
퀘이크3 아레나는 '오버 워치', '써든 어택'처럼 1인칭 시점에서 복잡한 공간을 누비며 상대팀과 겨루는 멀티 플레이어 게임이다. 연구진은 퀘이크3 게임 중에서도 상대팀의 깃발을 가장 많이 뺏는 팀이 이기는 2대 2 게임인 '캡처 더 플래그'를 활용해 AI를 훈련시켰다. 45만판의 게임을 통해 강화학습을 마친 AI는 실제 게임 고수와의 대결에서도 사람을 꺾고 최대 88%의 높은 승률을 기록했다.
맥스 제이더버그 구글딥마인드 연구원은 "FTW은 최초의 1인칭 비디오게임 AI 플레이어"라며 "그동안 멀티플레이어 비디오게임은 바둑 같은 1:1 게임보다 훨씬 변수가 많기 때문에 AI 플레이어를 구현하기가 매우 어려웠다"고 밝혔다. 김경중 광주과학기술원(GIST) 융합기술학제학부 교수는 "스타크래프트 역시 전술 게임이긴 하지만 플레이어 한 사람이 모든 상황을 컨트롤 할 수 있는 전지적 작가 시점이라는 점에서 1인칭 시점의 비디오게임보다는 AI를 학습시키기가 상대적으로 쉽다"고 설명했다.
반면 퀘이크3은 사람이 걸어다니며 공간을 인식하는 것과 같은 1인칭 시점으로 상황을 인식해야 하기 때문에 정보가 제한적인 데다 다른 플레이어와 잘 협업해야 팀을 승리로 이끌 수 있다는 점에서 변수가 더 많다. 신진우 KAIST 전기 및 전기공학부 교수는 "바둑은 혼자서만 잘하면 되지만 멀티플레이어 게임은 나뿐만 아니라 다른 팀원도 같이 잘해야 한다"며 "상황에 따라 내가 조금 후퇴하거나 희생을 하는 게 팀 승리에 도움이 될 수도 있기 때문"이라고 설명했다.
이에 구글딥마인드 연구진은 딥러닝의 일종인 '집단기반 강화학습'을 활용해 AI를 훈련시켰다. 개인적인 목표(상대팀의 깃발을 빼앗는 것)뿐만 아니라 최종적으로 팀의 이득(우승 확률) 극대화 할 때 더 많은 점수를 얻을 수 있도록 보상하는 방식이다. 김 교수는 "학습 효과를 높이기 위해 30개의 AI 요원을 만들어 놓고 임의로 뽑아 게임에 참여시킨 뒤, 점수가 낮은 요원은 빼고 높은 요원은 늘리면서 수천 판의 게임을 반복한 것"이라고 설명했다.
실내 맵과 야외 맵을 통해 AI 요원들이 게임에 참여하는 환경도 다양하게 바꿔가며 훈련을 반복한 결과, AI 요원들은 구체적인 전략을 사람이 일일이 가르쳐 주지 않아도 과거 경험을 바탕으로 팀이 우승할 수 있는 전략을 스스로 세워 협업을 할 수 있게 됐다. 사람과의 토너먼트식 대결에서 강화학습을 12시간 수행했을 때 이미 AI 팀의 승률은 75%에 달했고, 학습을 반복할수록 승률은 더 높아졌다.
이 기술은 향후 협업형 군집 AI에 다양하게 활용할 수 있을 것으로 전망된다. 딥마인드 측은 "AI 요원뿐만 아니라 사람이 조종하는 요원과도 잘 협업할 수 있었다"며 "사람과 협업하는 로봇 등을 개발하는 데 도움이 될 것"이라고 밝혔다. 신 교수는 "군집 로봇이나 드론이 하나의 목표를 달성하기 위해 협업하는 데 딥러닝을 활용할 수 있다는 가능성을 보여 준 연구 성과"라고 평가했다. 김 교수도 "군 부대를 구성하는 AI가 전진해 공격을 해야 할지 후퇴해야 할지 등을 판단하거나 자율주행차들이 복잡한 도로교통 상황에서 경로 등을 결정하는 데 활용할 수 있을 것"으로 기대했다.
[송경은 기자]
확대
축소
프린트
목록
