正規化と正則化の違い

正規化

正規化は、値の範囲や分布をそろえる処理です。主に2つの場面で使われます。

1つ目は、データの前処理です。年齢と年収のように桁が大きく違う特徴量をそのまま使うと、値の大きい特徴量の影響が強く出たり、学習が進みにくくなったりします。そこで、最小値を0、最大値を1に収めるMin-Max正規化などで尺度をそろえます。平均0・分散1にそろえる処理は、標準化と呼んで区別することもあります。

2つ目は、ネットワークの中に置く正規化層です。バッチ正規化はミニバッチ単位で、レイヤー正規化はサンプルごとに平均と分散を求め、値をそろえます。層への入力の大きさが安定するので、大きめの学習率でも学習が発散しにくくなります。

正則化

正則化は、過学習を抑えるための工夫の総称です。モデルが訓練データの細かな癖まで覚え込まないよう、学習に制約をかけます。

L1正則化とL2正則化は、重みの大きさに応じた罰則項を誤差関数に加えます。L1正則化は不要な重みを0にしやすく、使う特徴量を絞り込めます。L2正則化は重み全体を小さく抑えます。ドロップアウトは、学習中にニューロンの一部を無作為に無効にします。早期終了も正則化の一種として扱われることがありますが、シラバスでは項目16「最適化手法」のキーワードです。

取り違えやすい理由

どちらも「正」で始まる3文字の訳語なので、取り違えやすい組み合わせです。目的で分けると、正規化は学習を進めやすくするため、正則化は未知のデータでの性能を守るためです。ただし、バッチ正規化には弱い正則化の効果もあり、2つの効果は完全には切り離せません。