深いニューラルネットワークの学習で問題となる「勾配消失問題」の説明として最も適切なものはどれか。
- 1学習率を小さく設定しすぎることで、出力層に近い層の勾配だけが0になってしまう現象である。
- 2誤差逆伝播の過程で、1未満の値をとる活性化関数の微分などが層ごとに掛け合わされることで、入力層に近い層ほど勾配が極端に小さくなり、重みがほとんど更新されなくなる現象である。
- 3訓練データの件数が多すぎることで損失関数の値が0になり、すべての層の勾配が消失する現象である。
- 4隠れ層のユニット数を増やしすぎることで、順伝播の出力値がすべて0に収束してしまう現象である。
正解と解説を見る
正解：2
誤差逆伝播法では連鎖律によって各層の微分が掛け合わされるため、シグモイド関数のように微分値が1未満の活性化関数を多層で使うと、入力層側に伝わる勾配が層を重ねるごとに小さくなります。学習率は勾配そのものの大きさを変えるものではなく、影響を受けやすいのも出力層側ではなく入力層側です。データ件数やユニット数は直接の原因ではありません。勾配消失は「逆伝播で微分の積が重なり、入力層側ほど勾配が小さくなる現象」で、ReLUの採用などで緩和できると覚えておきましょう。
根拠：勾配消失問題（誤差逆伝播法における連鎖律）