活性化関数のうち、入力が正のときは入力をそのまま出力し、入力が負のときは入力に0.01などの小さな係数を掛けて出力することで、負の領域でも勾配が0にならないようにしたものはどれか。
- 1ステップ関数
- 2Leaky ReLU
- 3ソフトマックス関数
- 4シグモイド関数
正解と解説を見る
正解：2
ReLUは入力が負のとき出力も勾配も0になるため、一度負の領域に入ったユニットが学習されなくなること（dying ReLU）があります。Leaky ReLUは負の領域に小さな傾きを持たせて、この問題を緩和した関数です。ステップ関数はほぼ全域で勾配が0、シグモイド関数は出力が0〜1に収まる滑らかなS字型の関数、ソフトマックス関数は多クラス分類の出力層で使う関数で、いずれも条件に合いません。「Leaky ReLUは、負の領域に小さな傾きを持つReLUの改良版」と覚えておきましょう。
根拠：Leaky ReLU（Maas ら, 2013）