ディープラーニングモデルの軽量化手法のうち、「知識蒸留（Knowledge Distillation）」の説明として最も適切なものはどれか。
- 1学習済みの大きなモデル（教師モデル）が出力する確率分布を目標として、小さなモデル（生徒モデル）を学習させる。
- 2重要度の低い重みやニューロンを削除して、パラメータ数や計算量を減らす。
- 332ビット浮動小数点数で表現されていた重みを8ビット整数などの少ないビット数で表現し、メモリ使用量と計算量を減らす。
- 4大規模データで事前学習したモデルの重みを初期値として、別のタスクのデータでモデル全体を再学習する。
正解と解説を見る
正解：1
教師モデルが出力する確率分布（ソフトターゲット）には、クラス間の類似関係などの情報が含まれています。これを生徒モデルに学ばせると、正解ラベルだけで学習するよりも小さなモデルで高い性能を得やすくなります。2は枝刈り（プルーニング）、3は量子化、4はファインチューニングの説明で、4はそもそも軽量化を目的とした手法ではありません。軽量化の代表的な3手法「蒸留・枝刈り・量子化」は、それぞれ説明できるようにしておきましょう。
根拠：Hinton et al. (2015) "Distilling the Knowledge in a Neural Network"