오늘 OpenAI가 새로운 연구 결과를 발표했다. 우리는 OpenAI가 개발한 범용 강화학습 알고리즘인 PPO(Proximal Policy Optimization)를 이용해 5명으로 이루어진 에이전트 팀을 훈련시켜 Dota를 플레이하고 세미프로를 꺾도록 했다.

내게는 지금까지 AI가 실질적인 진전을 이뤄온 어떤 게임보다 이 게임이 현실 세계와 복잡한 의사결정(전략, 전술, 협동과 실시간 행동이 결합된)에 가장 가깝게 느껴진다.

우리가 훈련한 에이전트는 2주 전의 에이전트를 상대로 90~95%의 승률로 일관되게 승리한다. 인간이 플레이한 게임으로는 학습시키지 않고 이를 이뤄냈다. 물론 보상 함수는 우리가 설계했지만, 어떻게 플레이해야 하는지는 알고리즘이 자기 자신과의 대결을 통해 스스로 터득했다.

충분한 컴퓨팅 규모와 풀고자 하는 문제를 잘 담아낸 우수한 시뮬레이션 환경만 있다면 심층 강화학습이 극도로 어려운 문제도 해결할 수 있음을 보여준다는 점에서 이는 매우 중요한 성과다. 우리는 조만간 같은 접근법으로 전혀 다른 문제들을 해결할 수 있기를 기대한다. 이 기술이 점점 더 현실 세계를 닮은 환경에 적용되는 모습을 쉽게 상상할 수 있다.

세상에는 직접 코드를 짜서 해결하기에는 너무나 복잡한 문제들이 많다. 나는 이것이 머신러닝의 큰 분야가 될 것이며, 범용 인공지능으로 가는 길의 중요한 한 걸음이 될 것이라 기대한다.