ラッソ回帰とは

ラッソ回帰は、線形回帰にL1正則化を加えた手法です。1996年にティブシラニが提案しました。名前のLASSOは、least absolute shrinkage and selection operatorの略で、「絶対値で縮め、変数を選ぶ」という働きを表しています。

式

通常の線形回帰は、予測の二乗誤差の和を最小にする係数を求めます（最小二乗法）。ラッソ回帰では、これに係数の絶対値の和を罰則として加えたものを最小にします。

二乗誤差の和 + λ × (|w1| + |w2| + … + |wn|)

λは罰則の強さを決めるハイパーパラメータです。λ = 0なら通常の線形回帰と同じになり、λを大きくするほど係数は全体として0に向かって縮みます。

係数がちょうど0になる

ラッソ回帰の最大の特徴は、予測への影響が小さい説明変数の係数が、ちょうど0になることです。係数が0の変数は予測に使われないので、学習と同時に変数選択が行われます。λを大きくするほど、0になる係数は増える傾向があります。

なぜ0になるのでしょうか。絶対値の罰則は、係数が0に近くても、同じ強さで0へ押し続けます。一方、二乗の罰則を使うリッジ回帰では、0に近づくほど押す力が弱まります。この違いにより、ラッソ回帰では係数が0で止まりやすくなります。

使いどころと注意点

説明変数が多く、効いている変数は一部だけと考えられる場面に向きます。使う変数が少ないモデルは、結果を説明しやすくなります。

注意点もあります。罰則は係数の大きさにかかるので、説明変数は事前に標準化して尺度をそろえます。λは交差検証で選ぶのが一般的です。また、互いに強く相関する変数の組からは、そのうち1つだけを選びがちです。これを補うため、L1とL2の罰則を組み合わせたElastic Netが2005年に提案されました。

覚え方

「ラッソ（投げ縄）で必要な変数だけを捕まえ、残りは0にする」と覚えます。