プルーニング・量子化と蒸留の違い｜何を減らすかと元モデルの扱い

結論

プルーニングは学習済みモデルから影響の小さい重みや結合を取り除いてパラメータの数を減らし、量子化はパラメータの数はそのままで、1つ1つの値を表すビット数を減らします。蒸留は元のモデルを直接削らず、大きな教師モデルの出力を手本にして、小さな生徒モデルを新しく学習させます。

比較表

プルーニング・量子化と蒸留の違いの比較表
観点	プルーニング	量子化	蒸留
英語	pruning	quantization	knowledge distillation
減らすもの	重みや結合、チャネルなどの数	1つの値を表すビット数（例：32ビットの浮動小数点数を8ビットの整数に）	モデルの規模（小さく設計した別のモデルに置き換える）
元のモデルの扱い	元のモデルの一部を取り除く	元のモデルの値を粗い段階で表し直す	教師として手本に使い、別の生徒モデルを作る
パラメータの数	減る	変わらない	生徒モデルを小さく設計した分だけ少なくなる
学習との関係	取り除いた後、残った重みで再学習して精度を取り戻すのが基本	学習後にそのまま変換する方法と、量子化の誤差を見込んで学習する方法がある	生徒モデルを学習させる工程が必ず要る
速度への効き方	重みを1つずつ0にするだけでは、疎な計算に対応したライブラリやハードウェアがないと速くなりにくい。フィルタやチャネルをまとめて削ると速くしやすい	整数の計算に置き換えると、メモリと計算の両方を減らしやすい	生徒モデルが小さい分だけ速くなる
代表的な研究	LeCunらのOptimal Brain Damage（1989年）、Hanら（2015年）、フィルタ単位で削るLiら（2016年）	Jacobらの整数演算だけで推論する方式（2017年）	Hintonら（2015年）、DistilBERT（2019年）
シラバス項目	技術分野項目34 モデルの軽量化	技術分野項目34 モデルの軽量化	技術分野項目34 モデルの軽量化
G検定での問われ方	影響の小さい重みを取り除く仕組み、再学習、宝くじ仮説との関係	ビット数とデータ量の関係の計算、パラメータの数が変わらない点	教師モデルと生徒モデルの関係、ソフトターゲットと温度の役割

それぞれの説明

プルーニング、量子化、蒸留は、どれも学習済みのモデルを小さく、速くするモデル圧縮の手法です。スマートフォンや工場の端末で推論するエッジAIや、大規模言語モデルを少ない計算資源で動かす場面で使われます。3つの違いは、何を減らすかと、元のモデルをどう扱うかにあります。

プルーニング

プルーニングは、出力への影響が小さい重みや結合を取り除きます。重みの絶対値が小さいものから削るのが基本で、削った後は残った重みで再学習して精度を取り戻します。2015年のHanらの研究では、AlexNetのパラメータを約6,100万から約670万に減らしても、精度は下がりませんでした。ただし、重みを1つずつ0にするだけでは0が不規則に散らばり、疎な計算に対応した仕組みがないと計算はあまり速くなりません。フィルタやチャネルをまとめて削れば、通常の計算環境でも速くしやすくなります。

量子化

量子化は、パラメータの数はそのままに、1つの値を表すビット数を減らします。32ビットの浮動小数点数を8ビットの整数にすれば、重みのデータ量は約4分の1になります。整数の計算は軽いため、速度や消費電力の面でも有利です。学習を終えたモデルをそのまま変換する方法と、量子化の誤差を見込んで学習する方法があります。

蒸留

蒸留は、元のモデルを直接削りません。大きな教師モデルの出力を手本にして、小さな生徒モデルを新しく学習させます。教師が出す各クラスの確率（ソフトターゲット）には、クラスどうしがどれだけ似ているかという情報も含まれ、生徒はそれも学べます。生徒の構造を自由に決められる一方、学習をやり直す手間がかかります。

組み合わせて使う

3つは対立する選択肢ではありません。2015年に発表されたDeep Compressionは、プルーニング、量子化、ハフマン符号化を順に行い、AlexNetの保存に必要な容量を240MBから6.9MBへ、精度を落とさずに約35分の1にしました。蒸留で作った小さなモデルを、さらに量子化することもできます。

見分けるコツ

キーワードで見分けます。「取り除く」「刈り込む」ならプルーニング、「ビット数」「整数」「値を粗く表す」なら量子化、「教師」「生徒」「ソフトターゲット」なら蒸留です。
パラメータの数に注目します。減るのはプルーニングで、変わらないのは量子化です。蒸留は別の小さなモデルを作るので、元のモデルを削るわけではありません。
3つは組み合わせて使えます。プルーニングと量子化などを順に行う研究もあるため、「どれか1つしか使えない」という説明は誤りです。

◯×チェック

蒸留では、生徒モデルの構造を教師モデルと同じにする必要はなく、層の数を減らした小さなモデルを生徒にできる。

答えを見る

答え ◯ 正しい

生徒は教師の出力を手本に新しく学習するため、構造を自由に決められます。BERTを蒸留したDistilBERTも、層の数を減らした生徒モデルです。
プルーニングで重みの一部を取り除いたモデルは、構造が変わっているため、続けて量子化することはできない。

答えを見る

答え × 誤り

2015年に発表されたDeep Compressionは、プルーニングの後に量子化とハフマン符号化を行い、AlexNetの保存容量を約35分の1にしました。手法は組み合わせられます。
蒸留で得た生徒モデルは、教師モデルと同じ数のパラメータを持ち、1つ1つの値を表すビット数だけが少なくなっている。

答えを見る

答え × 誤り

パラメータの数を変えずにビット数を減らすのは量子化です。蒸留の生徒モデルは、教師の出力を手本に新しく学習させた別のモデルで、層の数を減らすなどして教師より小さく設計するのが普通です。