ロボット制御に深層強化学習を用いる際、シミュレータで学習した方策を実機に適用すると性能が低下する「リアリティギャップ」が問題となる。これを緩和する手法である「ドメインランダマイゼーション」の説明として、最も適切なものはどれか。
- 1シミュレータを使わず、実機で収集したデータだけを用いて初めから強化学習を行う。
- 2学習が進むにつれてε-greedy法のεを大きくし、ランダムな行動を選ぶ確率を高めていく。
- 3熟練者がロボットを操作したデータを教師として、状態から行動への対応を教師あり学習で模倣する。
- 4シミュレータ内の摩擦係数や物体の質量、照明、テクスチャなどの条件をランダムに変えながら学習し、環境の違いに頑健な方策を得る。
正解と解説を見る
正解：4
ドメインランダマイゼーションは、シミュレータの物理パラメータや見た目の条件を幅広くランダムに変えて学習させ、実機の環境も「多様な条件の一つ」として扱えるようにする手法です。これにより、シミュレータで学習した方策を実機へ移す（Sim2Real）際の性能低下を抑えます。選択肢1はシミュレータを使わないのでリアリティギャップの緩和策ではなく、実機での試行に時間やコストがかかるという別の問題を抱えます。選択肢2は探索の調整に関する記述（通常は学習が進むにつれてεを小さくします）、選択肢3は模倣学習の説明です。ドメインランダマイゼーションは「シミュレータ側の条件をばらつかせて頑健性を高める」Sim2Realの代表的な手法と押さえておきましょう。
根拠：Tobin et al.（2017）Domain Randomization／Sim2Real