強化学習では、将来得られる報酬を現在の価値に換算する際に、0以上1以下の値をとる割引率γを用いる。割引率γに関する説明として、最も適切なものを選べ。
- 1γを0に近づけるほど、エージェントは目先の報酬を重視するようになる。
- 2γを0に近づけるほど、エージェントは遠い将来の報酬を重視した長期的な行動をとるようになる。
- 3割引率は価値の更新幅を調整するパラメータであり、学習率と同じ意味を持つ。
- 4割引率はエージェントがランダムに行動する確率を表し、値が大きいほど探索的な行動が増える。
正解と解説を見る
正解：1
割引率γは将来の報酬をどれだけ割り引くかを表します。収益は、将来の報酬にγを繰り返し掛けながら足し合わせて計算します。γが0に近いと将来の報酬がほとんど考慮されないため目先の報酬を重視し、1に近いほど長期的な報酬を重視するようになります。価値の更新幅を決めるのは学習率という別のパラメータで、ランダムに行動する確率はε-greedy方策のεにあたります。「γが小さいと近視眼的、γが大きいと長期的」と覚えておきましょう。
根拠：割引率と収益（割引累積報酬）