KL情報量とは

KL情報量（カルバック・ライブラー情報量）は、2つの確率分布がどれだけ違うかを1つの数値で表す量です。KLダイバージェンスとも呼ばれます。1951年にカルバックとライブラーが論文で示しました。

式と意味

基準となる分布をP、比べる分布をQとすると、KL(P || Q) = Σ P(x) log(P(x) / Q(x))です。P(x)とQ(x)の比の対数を、Pの確率で重み付けして平均したものです。

たとえば、あるサイコロの実際の出目の分布をP、「どの目も6分の1」という分布をQとします。サイコロに偏りがなければPとQは一致し、KL情報量は0です。偏りが大きいほど、値は大きくなります。

主な性質

• 常に0以上で、2つの分布が一致するときだけ0になります。
• PとQを入れ替えると、一般に値が変わります（非対称）。そのため、数学でいう「距離」の条件を満たしません。「違いの大きさ」の目安として使います。
• 交差エントロピーH(P, Q)とは、H(P, Q) = H(P) + KL(P || Q)の関係にあります。H(P)はP自身のエントロピーです。Pが固定なら、交差エントロピーの最小化とKL情報量の最小化は同じ意味になります。

ディープラーニングでの使われ方

VAEでは、エンコーダが出す潜在変数の分布を、標準正規分布に近づけるための項として、KL情報量を誤差関数に加えます。

大規模言語モデルを人間のフィードバックで調整するRLHFでも使われます。調整中のモデルの出力が元のモデルから離れすぎないように、両者のKL情報量で罰則をかけます。

覚え方

「Pから見たQのずれ。向きを変えると値も変わる」と覚えます。