プルーニングとは

プルーニング（pruning）は、英語で「剪定」を意味します。庭木の余分な枝を切るように、ニューラルネットワークからほとんど役に立っていない部分を切り落とし、モデルを小さくします。量子化、蒸留と並ぶ、モデル圧縮の代表的な手法です。

仕組み

学習を終えたネットワークには、値がほぼ0で、出力にほとんど影響しない重みが少なからず含まれます。そこで、重みの絶対値などを基準に、影響の小さいものから取り除きます。取り除いた直後は精度が少し下がるため、残った重みで再学習して取り戻します。この「学習、刈り込み、再学習」を繰り返すのが基本の流れです。

考え方自体は古く、1989年にはLeCunらが、誤差の2階微分を使って削る重みを選ぶ方法（Optimal Brain Damage）を示しています。2015年のHanらの研究では、この流れでAlexNetのパラメータを約6,100万から約670万へ、およそ9分の1に減らしても、精度は落ちませんでした。

何を刈り込むか

• 非構造的プルーニング：重みを1つずつ0にします。削れる量は多いものの、行列の形は変わりません。速くするには、0の多い行列を効率よく計算する仕組みが必要です。
• 構造的プルーニング：チャネルやフィルタ、層などをまとめて取り除きます。ネットワークの形そのものが小さくなるため、一般的なハードウェアでも速度の向上に結び付けやすくなります。

似た言葉との区別

探索のαβ法でも「枝刈り」という言葉を使います。こちらは調べる必要のない手を省く工夫で、モデルを小さくする手法ではありません。決定木で、深くなりすぎた枝を切って過学習を防ぐ処理も、枝刈りや剪定と呼ばれます。

プルーニングで小さくしても精度を保てる理由を考える仮説として、宝くじ仮説があります。

覚え方

「伸びすぎた枝を切っても、木は実をつける」と覚えます。