ソフトマージンとは

ソフトマージンは、サポートベクターマシン(SVM)を現実のデータで使うための工夫です。シラバスのキーワードには含まれていませんが、マージン最大化を理解するうえで欠かせない考え方です。

ハードマージンの限界

SVMは、クラスを分ける境界と、境界に最も近いデータとの距離（マージン）が最大になるように境界を決めます。このとき、すべての学習データを誤りなく分けることを求める方式を、ハードマージンといいます。

しかし現実のデータには、ラベルの誤りや外れ値が含まれます。そもそも直線（高次元では超平面）では分けきれないことも多く、その場合ハードマージンでは境界が求まりません。外れ値が1件あるだけで、境界がそちらへ大きく引き寄せられることもあります。

はみ出しを許して罰を与える

ソフトマージンでは、各データがマージンの内側にどれだけ入り込んだかを表す変数（スラック変数）を導入します。そして、「マージンを広く取ること」と「はみ出しの合計を小さくすること」のバランスをとります。このバランスを決めるのが、ハイパーパラメータCです。

• Cを大きくする：はみ出しへの罰が重くなり、学習データを正しく分けることを優先する。マージンは狭くなり、過学習しやすい。
• Cを小さくする：はみ出しをある程度許して、マージンを広く取る。境界はなめらかになるが、小さくしすぎると学習不足になる。

Cを極端に大きくすると、ハードマージンに近づきます。

位置づけ

ソフトマージンは、1995年のコルテスとヴァプニクの論文で導入されました。カーネルトリックと組み合わせて使うのが一般的です。誤差関数の見方をすると、ヒンジ損失にL2正則化を加えたものを最小化する問題と同じ形になります。Cの値は、交差検証などで検証データの性能を見ながら決めます。