最適化手法Adamの説明として最も適切なものはどれか。
- 1過去のすべての勾配の二乗和を累積し、その平方根で学習率を割るため、学習が進むにつれて学習率が単調に小さくなる。
- 2前回の更新量に係数を掛けて今回の更新に加える慣性の考え方を取り入れたもので、学習率をパラメータごとに調整する仕組みは持たない。
- 3慣性で移動すると予想される先の位置で勾配を計算してから、パラメータを更新する。
- 4勾配の指数移動平均と、勾配の二乗の指数移動平均の両方を用いて、パラメータごとに更新量を調整する。
正解と解説を見る
正解：4
Adamは、モーメンタムのように勾配の指数移動平均（1次モーメント）で更新方向をなめらかにし、RMSpropのように勾配の二乗の指数移動平均（2次モーメント）でパラメータごとの学習率を調整する手法です。学習初期に推定値が0に偏ることを補うバイアス補正も備えています。選択肢1はAdaGrad、2はモーメンタム、3はネステロフの加速勾配法の説明です。Adamは「モーメンタム＋RMSprop」と整理して覚えておきましょう。
根拠：Adam（Kingma & Ba, 2014）、AdaGrad・RMSprop・モーメンタムとの関係