ディープラーニングモデルの軽量化手法のうち、「量子化(Quantization)」の説明として最も適切なものはどれか。
- 1重みや活性化の値を、32ビット浮動小数点数から8ビット整数などのより少ないビット数で表現し、メモリ使用量や計算コストを削減する。
- 2予測への寄与が小さい重みやニューロンを削除し、モデルのパラメータ数を減らす。
- 3学習済みの大きなモデルの出力を教師として、より小さなモデルを学習させる。
- 4学習用の画像に回転や反転などの変換を加えてデータを水増しし、汎化性能を高める。
正解と解説を見る
正解:1
量子化は数値を表すビット数を減らしてモデルのサイズと推論時の計算量を小さくする手法で、スマートフォンなどのエッジデバイスに搭載する際によく使われます。選択肢2はプルーニング(枝刈り)、選択肢3は知識蒸留で、どちらも軽量化手法ですが量子化とは別物です。選択肢4はデータ拡張で、軽量化ではなく汎化性能を高めるための手法です。代表的な軽量化手法として「量子化=ビット数を減らす」「プルーニング=不要な結合を削る」「蒸留=小さなモデルに知識を移す」を区別しておきましょう。
根拠:モデル圧縮手法(量子化・プルーニング・知識蒸留)