強化学習における「探索と活用のトレードオフ」に対処する方策として知られるε-greedy方策の説明として、最も適切なものを選べ。
- 1常に、現時点で価値が最も高いと推定される行動だけを選び続ける
- 2常に、すべての行動の中から等しい確率でランダムに行動を選ぶ
- 3将来の報酬をεの割合で割り引いて、現在の価値を計算する
- 4確率εでランダムに行動を選び、それ以外の場合は現時点で価値が最も高いと推定される行動を選ぶ
正解と解説を見る
正解：4
ε-greedy方策は、小さな確率εで行動をランダムに試す「探索」と、残りの確率1−εで現時点の最善行動を選ぶ「活用」を両立させる方策です。最善と思われる行動だけを選ぶ貪欲（greedy）方策では、もっと良い行動を見逃すおそれがあります。逆に、常にランダムでは得た知識を活かせません。将来の報酬を割り引く係数は割引率（一般にγで表す）で、εとは別物です。εは「探索する確率」と覚えておきましょう。
根拠：強化学習（探索と活用のトレードオフ、ε-greedy方策、割引率）