ResNetで導入されたスキップ結合（残差接続）に関する説明として、最も適切なものはどれか。
- 1学習時にランダムに選んだユニットの出力を0にすることで、過学習を抑える。
- 2畳み込み層を全結合層に置き換えることで、ネットワーク全体のパラメータ数を大幅に削減する。
- 3ミニバッチ内でチャネルごとに平均と分散をそろえることで、学習を安定させる。
- 4いくつかの層をまたいで、入力をその層群の出力に足し合わせることで、層を深くしても勾配が伝わりやすくなる。
正解と解説を見る
正解：4
スキップ結合は、層群への入力をそのまま出力に加える仕組みです。これにより層群は入力との差分（残差）だけを学習すればよくなり、逆伝播では勾配が加算の経路を通って直接伝わるため、100層を超える深いネットワークでも学習が進むようになりました。1はドロップアウト、3はバッチ正規化の説明です。2は逆で、全結合層に置き換えるとパラメータ数はむしろ増えます。スキップ結合は「入力を出力に足す」ことで深いネットワークの学習を可能にした技術だと押さえておきましょう。
根拠：ResNet（He et al., 2016）の残差学習とスキップ結合