ニューラルネットワークを勾配降下法で学習する際、学習率を大きく設定しすぎた場合に起こりやすい現象として最も適切なものはどれか。
- 1パラメータの更新幅が大きくなりすぎ、損失関数の値が振動したり発散したりして収束しにくくなる。
- 21回あたりの更新幅が小さくなり、収束までに非常に多くのイテレーションが必要になる。
- 3どのような問題でも、大域的最適解に必ず速く到達できるようになる。
- 4勾配の計算に用いるミニバッチのサイズが自動的に大きくなる。
正解と解説を見る
正解：1
学習率は、1回の更新で勾配の方向にどれだけ進むかを決める係数です。大きすぎると最適解を飛び越えてしまい、損失が振動したり発散したりします。選択肢2は学習率が小さすぎる場合の現象です。学習率は大域的最適解への到達を保証するものではなく、ミニバッチサイズとも別のハイパーパラメータです。学習率は「大きすぎると振動・発散し、小さすぎると収束が遅い」と押さえておきましょう。
根拠：勾配降下法における学習率