強化学習の価値ベースの手法であるQ学習とSARSAの違いに関する説明として、最も適切なものを選べ。
- 1Q学習は環境の状態遷移確率を事前に完全に知っている必要があるが、SARSAはそれを必要としない。
- 2Q学習は次の状態で行動価値が最大となる行動を用いて更新するのに対し、SARSAは実際に方策に従って選んだ次の行動の行動価値を用いて更新する。
- 3SARSAは行動価値関数を用いず、方策を直接パラメータ化して勾配法で最適化する手法である。
- 4Q学習はエピソードが終了するまで更新を行わず、得られた収益の平均によって価値を推定する。
正解と解説を見る
正解：2
Q学習は、次の状態で取りうる行動のうち行動価値が最大のものを使って更新します。実際に行動を選ぶ方策とは別の方策（貪欲方策）を評価するので、方策オフ型の手法です。SARSAは、実際に方策（例えばε-greedy）で選んだ次の行動の行動価値を使って更新する方策オン型の手法です。どちらも環境のモデルを必要としないモデルフリーなTD学習です。エピソードの終了を待って収益の平均をとるのはモンテカルロ法、方策を直接最適化するのは方策勾配法です。「Q学習はmax、SARSAは実際に選んだ行動」という更新式の違いを押さえておきましょう。
根拠：TD学習（Q学習：方策オフ型、SARSA：方策オン型）