過学習を抑える手法であるドロップアウトの説明として最も適切なものはどれか。
- 1ミニバッチごとに、各層への入力を平均0・分散1になるように正規化してから学習する。
- 2学習時に一定の確率でニューロンをランダムに無効化しながら学習し、多数のネットワークを組み合わせるアンサンブル学習に似た効果を得る。
- 3検証データに対する誤差が増加し始めた時点で学習を打ち切る。
- 4重みの二乗和を誤差関数に加え、重みが大きくなりすぎないように抑える。
正解と解説を見る
正解：2
ドロップアウトは学習のたびに異なるニューロンを無効化するため、特定のニューロンへの依存が弱まり、毎回少しずつ異なるネットワークを学習していることになります。その結果、複数のモデルを平均するアンサンブル学習に似た効果が得られ、過学習が抑えられます。推論時はすべてのニューロンを使い、出力の大きさが学習時とそろうように調整します。選択肢1はバッチ正規化、3は早期終了、4はL2正則化（荷重減衰）の説明です。ドロップアウトは「学習時にランダムにニューロンを無効化し、アンサンブル的な効果で過学習を防ぐ」と覚えておきましょう。
根拠：ドロップアウト（Srivastava et al., 2014）