活性化関数ReLU（Rectified Linear Unit）の説明として最も適切なものはどれか。
- 1出力が0から1の範囲に収まるため、そのまま確率として解釈できる。
- 2出力が−1から1の範囲をとり、原点に対して点対称な形をしている。
- 3入力が正の領域では微分が常に1になるため、シグモイド関数と比べて勾配消失が起こりにくい。
- 4入力が負の領域にもわずかな傾きを持たせ、ニューロンが学習しなくなる問題を防いでいる。
正解と解説を見る
正解：3
ReLUは f(x)=max(0, x) で、入力が正なら入力をそのまま出力し、その微分は常に1です。そのため層を重ねても勾配が小さくなりにくく、深いネットワークで広く使われています。0〜1の範囲はシグモイド関数、−1〜1で点対称なのはtanh関数の特徴です。負の領域にわずかな傾きを持たせるのはLeaky ReLUで、ReLUでは負の入力に対する出力と微分はともに0になります。ReLUは「正の領域で微分が1」、Leaky ReLUは「負の領域にも小さな傾き」と区別して覚えましょう。
根拠：ReLU（正規化線形関数）とその派生（Leaky ReLU）