Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)

RPGアツマール投稿ゲームを対象とした強化学習システム「マールタス」

RPGアツマールに投稿されたゲームを深層強化学習を使って自動プレイする方法を学習するシステム「マールタス」

概要

マールタスは深層強化学習を利用してniconicoのサービスの1つであるRPGアツマールに投稿されたゲームの操作方法を学習するシステムである. ビデオゲームAIは人工知能研究の一分野としてCOMプレイヤーのデザインやデバックの自動化などを目的として様々な研究が行われてきた. これらの研究では伝統的にルールベースを用いた方法でゲーム操作をするエージェントを設計していた. 対して近年,進化計算,強化学習などの機械学習を使ったアプローチが注目されている. 特に強化学習では深層学習を導入することにより多次元の状態を扱えるようになり,ATARIのような古いアーケードゲームに留まらずStart Craft IIのような複雑なゲームも扱えるようになってきている. マールタスは深層強化学習の1手法であるDeep Q-Learningを利用してゲームの操作方法を学習する. 具体的にはゲーム画面を状態,ブラウザの操作を行動,としてゲームスコアを最大化することを目指す. 強化学習を利用することでゲームルールや操作の手本などのゲーム依存な知識を用いることなく操作方法を獲得できる.

学習アルゴリズム(DQN)の解説スライド

発表リスト