正則化に関する説明として最も適切なものはどれか。
- 1L1正則化は重みの絶対値の和を罰則項として誤差関数に加える手法で、一部の重みが0になりやすく、不要な特徴量を取り除く効果がある。
- 2L2正則化は重みの絶対値の和を罰則項として加える手法で、多くの重みをちょうど0にする効果が強い。
- 3線形回帰にL1正則化を適用した手法は、リッジ回帰と呼ばれる。
- 4正則化項の係数を大きくするほど、訓練データに対する誤差は小さくなる。
正解と解説を見る
正解：1
L1正則化は重みの絶対値の和を罰則項とするため、重要でない重みがちょうど0になりやすく、スパースなモデルが得られます。L2正則化は重みの二乗和を罰則項とし、重みを全体的に小さくしますが、0にはなりにくい性質です。線形回帰にL1正則化を適用したものはラッソ回帰で、L2正則化を適用したものがリッジ回帰です。正則化項の係数を大きくすると重みが強く抑えられるため訓練誤差はむしろ大きくなり、強すぎると未学習になります。L1はスパース（ラッソ）、L2は重みを全体的に縮小（リッジ）と対応づけて覚えましょう。
根拠：L1正則化（ラッソ回帰）とL2正則化（リッジ回帰・荷重減衰）