シグモイド関数 σ(x) = 1 / (1 + e^(−x)) の導関数の最大値として正しいものはどれか。
- 10.5
- 20.25
- 31
- 4上限はない（入力が大きいほど大きくなる）
正解と解説を見る
正解：2
シグモイド関数の導関数は σ(x)(1−σ(x)) で、x=0 のとき σ(0)=0.5 となるため、最大値は 0.5×0.5=0.25 です。0.5 は導関数ではなく σ(0) の値、1 は tanh 関数の導関数の最大値なので混同しないよう注意してください。誤差逆伝播法では層ごとに導関数が掛け合わされるため、最大でも0.25の値が何度も掛かると、入力層に近い層ほど勾配が急速に小さくなります。シグモイド関数の微分の最大値は0.25で、これが勾配消失の一因だと覚えておきましょう。
根拠：シグモイド関数の導関数と勾配消失問題