あるニューラルネットワークの学習で、エポックが進むにつれて訓練誤差は下がり続けたが、検証誤差はある時点から上昇に転じた。この状況で、検証誤差が上昇し始めた付近で学習を打ち切って過学習を防ぐ手法はどれか。
- 1データ拡張（Data Augmentation）
- 2勾配クリッピング
- 3重み減衰（Weight Decay）
- 4早期終了（Early Stopping）
正解と解説を見る
正解：4
訓練誤差が下がり続ける一方で検証誤差が上がり始めるのは、訓練データに過度に適合して汎化性能が落ちている、過学習の典型的な兆候です。早期終了は検証誤差を監視し、改善しなくなった時点で学習を止めて、検証誤差が最小のときのパラメータを採用する手法です。データ拡張と重み減衰も過学習対策ですが、学習を打ち切る手法ではありません。勾配クリッピングは勾配爆発を防ぐ手法です。「早期終了は、検証誤差を見て学習を途中で止める手軽な過学習対策」と覚えておきましょう。
根拠：早期終了（Early Stopping）