DeepMindが開発したゲームAIのうち、AlphaGo Zeroの説明として最も適切なものはどれか。
- 1人間の棋譜を用いた教師あり学習で方策ネットワークを学習した後、自己対戦による強化学習で性能を高め、モンテカルロ木探索と組み合わせた。
- 2人間の棋譜を一切使わず、ゲームのルールだけを与えて自己対戦による強化学習のみで学習し、方策と価値を1つのネットワークで出力する。
- 3同一のアルゴリズムを囲碁だけでなくチェスや将棋にも適用し、いずれのゲームでも当時の最強クラスのプログラムを上回った。
- 4ゲームのルール（環境の遷移モデル）すら与えられず、環境のダイナミクスを表すモデル自体を学習し、それを用いて先読みを行う。
正解と解説を見る
正解：2
AlphaGo Zeroは人間の棋譜を使わず、ゼロから自己対戦だけで学習しました。方策と価値を出力する単一のネットワークとモンテカルロ木探索を組み合わせ、元のAlphaGoを上回る強さに達しています。1は最初のAlphaGo、3はAlphaGo Zeroの手法を汎用化したAlphaZero、4はルールを与えずにモデルを学習するMuZeroの説明です。AlphaGo→AlphaGo Zero→AlphaZero→MuZeroと進むにつれて、人間の知識への依存が減っていく流れで整理しましょう。
根拠：Silver et al. (2017) "Mastering the game of Go without human knowledge" (Nature)