最適化手法の一つであるモメンタムの説明として最も適切なものはどれか。
- 1パラメータごとに過去の勾配の二乗和を蓄積し、大きく更新されてきたパラメータほど学習率を小さくする手法である。
- 2検証データに対する誤差が悪化し始めた時点で学習を打ち切る手法である。
- 3過去の更新量を慣性のように現在の更新に加えることで、同じ方向への更新を加速し、谷のような形状での振動を抑える手法である。
- 4学習のたびに一部のユニットをランダムに無効化し、複数のモデルを平均したような効果を得る手法である。
正解と解説を見る
正解：3
モメンタムは物理の慣性になぞらえた手法で、前回までの更新量に係数を掛けて今回の更新に加えます。勾配の向きがそろう方向には加速し、向きが入れ替わる方向の振動は打ち消し合って抑えられます。選択肢1はAdaGrad、選択肢2は早期終了、選択肢4はドロップアウトの説明です。モメンタムは「過去の更新量を慣性として使い、SGDの振動を抑えて収束を速める手法」と覚えておきましょう。
根拠：モメンタム法