誤差関数（シラバス 技術13）

誤差関数の役割

誤差関数は、モデルの出力が正解からどれだけずれているかを1つの数値で表す関数です。損失関数とも呼びます。学習は、この値が小さくなるように重みを調整する作業です。

平均二乗誤差関数（回帰）

予測値と正解の差を2乗して平均します。数値を当てる回帰問題の基本です。

例：正解が10と20のデータを12と17と予測すると、差は2と−3なので、(4 + 9) ÷ 2 = 6.5です。

大きな外れほど強く罰するため、外れ値の影響を受けやすくなります。

交差エントロピー（分類）

分類問題では、各クラスの確率を出力し、交差エントロピーで評価します。正解をone-hotベクトル（正解クラスだけ1、他は0）で表すと、値は−log（正解クラスに付けた確率）になります。正解の「猫」に0.9を付ければ約0.11、0.1しか付けなければ約2.30です（自然対数の場合）。自信をもって外すほど、大きく罰する仕組みです。

多クラス分類ではソフトマックス関数、2値分類ではシグモイド関数と組み合わせます。

カルバック・ライブラー情報量(KL)

2つの確率分布がどれだけ違うかを表す量で、KLダイバージェンスとも呼ばれます。

• 分布が一致すれば0、違うほど大きくなり、負になることはありません。
• 2つの分布を入れ替えると、一般に値が変わります。そのため「距離」ではなく、ずれの目安として扱います。
• 交差エントロピーは「正解の分布のエントロピー＋KL情報量」に分けられます。正解の分布は学習中に変わらないので、交差エントロピーを小さくすることは、KL情報量を小さくすることと同じ意味になります。

VAEでエンコーダが出力する潜在変数の分布を標準正規分布に近づける項や、大きなモデルの出力の分布を小さなモデルにまねさせる知識蒸留で使われます。

距離学習の誤差関数

顔認証や類似画像の検索では、クラスを当てるよりも「似ているものを近く、違うものを遠くに置く」特徴の空間が必要になります。これを学ぶのが距離学習で、次の誤差関数を使います。

• Contrastive Loss：2つのデータの組（ペア）を入力します。同じクラス（同じ人物など）のペアなら特徴の距離を縮め、違うクラスのペアなら距離があらかじめ決めた幅（マージン）以上になるまで遠ざけます。
• Triplet Loss：基準（アンカー）、同じクラスのデータ（ポジティブ）、違うクラスのデータ（ネガティブ）の3つ組を入力します。アンカーとネガティブの距離が、アンカーとポジティブの距離よりマージン以上大きくなるように学習します。顔認証のFaceNetで使われました。

選び方の整理

目的	誤差関数	例
数値を当てる（回帰）	平均二乗誤差関数	売上の予測
クラスを当てる（分類）	交差エントロピー	画像の分類
分布を近づける	KL情報量	VAE、知識蒸留
似ているかを測る	Contrastive Loss、Triplet Loss	顔認証、類似画像の検索