今日、OpenAIが新たな成果を発表しました。私たちはOpenAIが開発した汎用的な強化学習アルゴリズムであるPPO（Proximal Policy Optimization）を用い、5体のエージェントからなるチームを訓練してDotaをプレイさせ、セミプロに勝利しました。

私にとって、このゲームはこれまでAIが本格的な進歩を遂げてきたどのゲームよりも、現実世界や複雑な意思決定（戦略、戦術、連携、そしてリアルタイムのアクションを組み合わせたもの）に最も近いと感じられるものです。

私たちが訓練したエージェントは、2週間前のバージョンのエージェントに対して常に90〜95%の勝率で上回っています。しかも、人間がプレイしたゲームを使って学習させたわけではありません。もちろん報酬関数は私たちが設計しましたが、プレイの方法自体はアルゴリズムが自己対戦による訓練を通じて習得したものです。

これは非常に大きな成果です。十分な計算規模と、解こうとしている問題を的確に捉えた優れたシミュレーション環境さえあれば、深層強化学習が極めて困難な問題を解決できることを示しているからです。私たちは近いうちに同じアプローチをまったく異なる問題の解決にも活用したいと考えています。現実世界にますます近い環境へ応用されていく姿を想像するのは容易でしょう。

世界には、手作業で解決策をコーディングするには複雑すぎる問題が数多く存在します。これは機械学習における大きな分野となり、汎用人工知能へと至る道のりにおける重要な一歩になると私は期待しています。