バッチ正規化(Batch Normalization)の説明として最も適切なものはどれか。
- 1学習を始める前に、入力データ全体を一度だけ平均0・分散1に標準化する前処理である。
- 2ミニバッチ単位で各層への入力を平均0・分散1になるよう正規化し、さらに学習可能なパラメータでスケールとシフトを調整する手法で、学習の安定化や高速化に寄与する。
- 3重みの大きさに応じたペナルティを損失関数に加え、重みが大きくなりすぎるのを防ぐ手法である。
- 4学習の進み具合に応じて、ミニバッチのサイズを自動的に大きくしていく手法である。
正解と解説を見る
正解:2
バッチ正規化は、ネットワーク内部の層ごとにミニバッチ内の平均と分散で値を正規化し、学習可能なスケールγとシフトβで表現力を保つ手法です。学習の安定化・高速化に加え、重みの初期値への依存を小さくし、過学習を抑える効果もあるとされます。選択肢1は入力データを標準化する前処理、選択肢3はL2正則化(重み減衰)の説明です。「バッチ正規化は前処理ではなく、ネットワーク内部でミニバッチごとに行う正規化」と覚えておきましょう。
根拠:バッチ正規化(Ioffe & Szegedy, 2015)