L2正則化とは

L2正則化は、過学習を防ぐための正則化の中で、代表的でよく使われる手法です。重みを全体的に小さく保つことで、モデルが訓練データの細かいノイズにまで合わせ込むのを防ぎます。

式

元の誤差関数に、重みの二乗和に係数を掛けた罰則を足します。E(w) + λ(w1² + w2² + … + wn²)の形です。λ（ラムダ）は正則化の強さを決めるハイパーパラメータです。微分したときの形を簡単にするため、係数をλ/2とする書き方もよく使われます。

なぜ過学習を防げるのか

過学習したモデルでは、一部の重みが極端に大きくなりがちです。重みが大きいと、入力が少し変わっただけで出力が大きく揺れます。二乗の罰則は、大きな重みほど強く罰します。そのため、特定の特徴量に頼りすぎない、なめらかな予測をするモデルになります。

罰則λw²の傾きは2λwです。重みが小さくなるほど0へ押す力も弱まるので、重みは0に近づいても、ちょうど0にはなりにくい性質があります。不要な特徴量の重みをちょうど0にしたい場合は、L1正則化が向いています。

別の名前と関連する手法

線形回帰にL2正則化を加えたものをリッジ回帰と呼びます。1970年にホーエルとケナードが示した手法で、説明変数どうしの相関が強いときに係数を安定させる目的でも使われます。

ニューラルネットワークでは、荷重減衰（weight decay）とも呼ばれます。確率的勾配降下法で学習すると、更新のたびに重みが一定の割合で縮むからです。ただし、Adamのように学習率をパラメータごとに調整する最適化手法では、L2正則化と荷重減衰は同じ結果になりません。この点を踏まえ、重みを縮める処理を勾配の計算から切り離した手法がAdamWです。

覚え方

「二乗で罰して、大きな重みほど強く縮める」と覚えます。