バッチ正規化(Batch Normalization)に関する説明として、最も適切なものはどれか。
- 1各サンプルごとに全チャネルの値をまとめて正規化するため、ミニバッチのサイズには依存しない。
- 2正規化した値をそのまま出力するだけで、学習可能なパラメータは持たない。
- 3推論時にも入力されたミニバッチの統計量を必ず用いるため、1件ずつ推論することはできない。
- 4学習時はミニバッチ内の統計量でチャネル(特徴)ごとに正規化し、推論時は学習中に蓄積した平均と分散の移動平均を用いるのが一般的である。
正解と解説を見る
正解:4
バッチ正規化は、学習時にミニバッチ内の平均と分散でチャネル(特徴)ごとに正規化し、推論時には学習中に蓄積した移動平均などの統計量を使います。そのため推論時は1件ずつでも処理できます。正規化の後には、学習可能なスケールγとシフトβによる変換が入ります。サンプルごとに全チャネルをまとめて正規化しバッチサイズに依存しないのは、レイヤー正規化の特徴です。バッチ正規化は「学習時はミニバッチの統計量、推論時は蓄積した統計量」と使い分けることを押さえておきましょう。
根拠:Batch Normalization(Ioffe & Szegedy, 2015)