DQN（Deep Q-Network）で導入された「経験再生（Experience Replay）」の主な目的として、最も適切なものはどれか。
- 1一定の確率でランダムな行動を選ぶことで、まだ試していない行動の探索を促すこと。
- 2人間の評価から学習した報酬モデルを用いて、望ましい出力を強化すること。
- 3TD誤差の目標値を一定期間固定したネットワークで計算し、目標値が学習のたびに揺れ動くのを防ぐこと。
- 4過去の遷移（状態・行動・報酬・次状態）をバッファに蓄えてランダムに取り出して学習に使い、連続するデータ間の相関を弱めて学習を安定させること。
正解と解説を見る
正解：4
エージェントが連続して得る経験は互いに強く相関しているため、順番どおりに学習すると学習が不安定になります。経験再生では過去の遷移をリプレイバッファに保存し、そこからランダムにミニバッチを作ることで相関を弱めます。同じ経験を何度も再利用できるので、データ効率も高まります。3はDQNのもう1つの工夫であるターゲットネットワーク、1はε-greedy法、2はRLHFの説明です。DQNを安定させる2本柱は「経験再生」と「ターゲットネットワーク」だと押さえましょう。
根拠：Mnih et al. (2015) "Human-level control through deep reinforcement learning" (Nature)