1つのサンプルごとに、そのサンプルが持つすべての特徴量（全チャネル）にわたって平均と分散を計算して正規化する手法で、ミニバッチの大きさに依存しないためRNNやTransformerで広く用いられているものはどれか。
- 1バッチ正規化
- 2レイヤー正規化
- 3インスタンス正規化
- 4グループ正規化
正解と解説を見る
正解：2
レイヤー正規化はサンプル単位で全特徴量の統計量を使うため、バッチサイズが小さい場合や、サンプルごとに系列長が異なる場合でも安定して使えます。バッチ正規化はミニバッチ内の複数サンプルにまたがって統計量を求めるので、バッチサイズの影響を受けます。インスタンス正規化はサンプルごと・チャネルごとに、グループ正規化はチャネルをいくつかのグループに分けてグループごとに正規化する点が異なります。正規化手法は「どの範囲で平均と分散をとるか」で区別するのがポイントです。
根拠：Layer Normalization（Ba et al., 2016）