ベイズ情報量規準（BIC）とは

ベイズ情報量規準（BIC）は、AICと同じく、候補のモデルから1つを選ぶための物差しです。1978年にSchwarz（シュワルツ）が発表したことから、シュワルツ情報量規準（SIC）とも呼ばれます。

式

BIC = −2 × 最大対数尤度 + パラメータ数 × log(データ数)

logは自然対数です。第1項はAICと同じで、当てはまりが良いほど小さくなります。違うのは第2項の罰則で、パラメータ数にデータ数の対数を掛けます。AICと同じく、値が最も小さいモデルを選びます。

AICとの違い

AICの罰則は2 × パラメータ数で、データ数によりません。BICでは、データ数をnとしてlog nが2を超えると、罰則がAICより重くなります。log 7≒1.95、log 8≒2.08なので、nが8以上ならBICの罰則のほうが重く、データが増えるほど差は開きます。

データ数1,000で、モデルAは最大対数尤度−500でパラメータ3個、モデルBは−494で6個だとします。AICはAが1000+6=1006、Bが988+12=1000で、Bが選ばれます。BICはlog 1000≒6.908なので、Aが約1020.7、Bが約1029.4となり、Aが選ばれます。このように、2つの規準で選ばれるモデルが食い違うことがあります。

Schwarzは論文の中で、どちらの規準も「モデル作りにおける節約の原理」を数式にしたものだと述べています。そのうえで、BICのほうがパラメータの少ないモデルに傾くとしています。

名前の「ベイズ」

名前は導き方に由来します。Schwarzは、ベイズの考え方で最も確からしいモデルを選ぶ手順を、データ数が大きいときの近似として求めました。近似の主要な項は事前分布によらないため、ベイズ統計を使わない場面でもそのまま使えます。

覚え方

「BICの罰則はlog(データ数)倍。データが多いほど単純なモデルを好む」と覚えます。