L1正則化とは

L1正則化は、モデルが訓練データに合わせすぎる過学習を防ぐための正則化の1つです。重みの一部をちょうど0にする性質が特徴です。

式

元の誤差関数に、重みの絶対値の和に係数を掛けた罰則を足します。E(w) + λ(|w1| + |w2| + … + |wn|)の形です。λ（ラムダ）は正則化の強さを決めるハイパーパラメータで、大きいほど重みを小さく保つ力が強くなります。学習では、誤差を減らすことと、重みを小さく保つことの両立を目指します。

重みが0になる理由

L1正則化の罰則は、重みを0の方向へ一定の強さで押します。λ|w|の傾きの大きさは、重みが大きくても小さくてもλで変わらないからです。そのため、予測への影響が小さい重みは、この力に負けてちょうど0になります。

L2正則化と比べるとわかりやすくなります。L2正則化の罰則λw²の傾きは2λwで、重みが小さくなるほど押す力も弱まります。そのため、重みは0に近づいても、ちょうど0にはなりにくいのです。

図で考えても同じ結論になります。重みが2つのとき、L1正則化で許される範囲はひし形になり、角が軸の上にあります。誤差の等高線はこの角で接しやすく、角では片方の重みが0です。

何に役立つか

0になった重みに対応する特徴量は、予測に使われなくなります。つまり、学習と同時に特徴量の選択が行われます。項目の多いデータから、効いている項目だけを残した説明しやすいモデルを作りたいときに便利です。線形回帰にL1正則化を加えたものをラッソ回帰と呼びます。

注意点として、λを大きくしすぎると、必要な重みまで0になり未学習になります。また、|w|は0で微分できないため、最適化には工夫が必要です。

覚え方

「L1はひし形の角で0、L2は円なので0になりにくい」と覚えます。