ニューラルネットワークで用いられる活性化関数のうち、入力が0以下のときは0を出力し、入力が0より大きいときは入力値をそのまま出力する関数として、最も適切なものはどれか。
- 1シグモイド関数
- 2ReLU関数
- 3ソフトマックス関数
- 4tanh関数
正解と解説を見る
正解：2
入力が0以下なら0、正ならそのまま出力するのはReLU（Rectified Linear Unit）関数です。正の範囲では勾配が常に1になるため勾配消失が起こりにくく、深いネットワークの中間層で広く使われています。シグモイド関数は出力を0〜1の範囲に滑らかに変換し、tanh関数は−1〜1の範囲に変換します。ソフトマックス関数は複数の出力を合計1の確率に変換するもので、多クラス分類の出力層で使われます。覚えておきたいのは、ReLUは「0以下は0、正はそのまま」という形で、勾配消失の緩和に役立つという点です。