赤池情報量規準（AIC）とベイズ情報量規準（BIC）の違い｜罰則の重さ

結論

AICとBICの違いは複雑さへの罰則の重さで、パラメータ1つあたりの罰則はAICが2、BICがlog(データ数)なので、データ数が8以上ならBICのほうが単純なモデルを選びやすくなります。どちらも当てはまりの悪さ（−2×最大対数尤度）に罰則を足した値で、同じデータに当てはめた候補のうち値が最も小さいモデルを選ぶ点は共通です。

比較表

赤池情報量規準（AIC）とベイズ情報量規準（BIC）の違いの比較表
観点	赤池情報量規準（AIC）	ベイズ情報量規準（BIC）
英語	Akaike information criterion	Bayesian information criterion（Schwarz information criterionとも）
提唱者	赤池弘次（1973年）	シュワルツ（G. Schwarz、1978年）
式	−2×最大対数尤度＋2×パラメータ数	−2×最大対数尤度＋パラメータ数×log(データ数)
パラメータ1つあたりの罰則	2。データ数によらない	log(データ数)（自然対数）。データ数が8以上で2を超え、データが増えるほど重くなる
選ばれやすいモデル	データ数が8以上なら、BICより複雑なモデルを選びやすい	データ数が8以上なら、AICより単純なモデルを選びやすい
考え方の背景	予測の視点。モデルの分布と真の分布とのずれ（カルバック・ライブラー情報量）を、手元のデータから見積もる	ベイズの視点。最も確からしいモデルを選ぶ手順を、データ数が大きいときの近似として求める
値の読み方	小さいほど良い。同じデータに当てはめた候補どうしで比べる	小さいほど良い。同じデータに当てはめた候補どうしで比べる
シラバス項目	技術分野項目10 モデルの選択・評価（キーワード「赤池情報量規準(AIC)」）	技術分野項目10 モデルの選択・評価（キーワード「ベイズ情報量規準(BIC)」）
G検定での問われ方	式の2つの項の意味、値が小さいモデルを選ぶこと、最大対数尤度とパラメータ数を与えた計算	AICとの罰則の違い、どちらが単純なモデルを選びやすいか、AICと選ぶモデルが食い違う計算

それぞれの説明

赤池情報量規準（AIC）とベイズ情報量規準（BIC）は、どちらも候補のモデルから1つを選ぶための物差しです。パラメータを増やせば、手元のデータへの当てはまりは良くなるのがふつうです。当てはまりだけで選ぶと最も複雑なモデルが選ばれ、過学習を招きます。そこで両者とも、当てはまりの悪さに複雑さの罰則を足した値で比べます。

赤池情報量規準（AIC）

AIC = −2 × 最大対数尤度 + 2 × パラメータ数

赤池弘次が1973年に発表しました。第1項は最尤法で当てはめたときの当てはまりの悪さ、第2項は複雑さへの罰則です。AICは、モデルが表す分布と真の分布とのずれ（カルバック・ライブラー情報量）を手元のデータから見積もるという、予測の視点から導かれています。罰則はパラメータ1つにつき2で、データ数によりません。

ベイズ情報量規準（BIC）

BIC = −2 × 最大対数尤度 + パラメータ数 × log(データ数)

1978年にシュワルツ（Schwarz）が示しました。ベイズの考え方で最も確からしいモデルを選ぶ手順を、データが多いときの近似として求めたものです。近似の主要な項は事前分布によらないので、事前分布を決めずに計算できます。logは自然対数です。

罰則の差が選ぶモデルを変える

log 7≒1.95、log 8≒2.08なので、データ数が8以上ならBICの罰則のほうが重くなります。データ数が1,000なら、パラメータ1つあたりの罰則はAICが2、BICが約6.9です。パラメータを1つ増やしたとき、−2×最大対数尤度の下がり幅が2より大きく約6.9より小さければ、AICは増やした複雑なモデルを、BICは増やす前の単純なモデルを選びます。

共通点と使い分け

どちらも、値が最も小さいモデルを選びます。値そのものに意味はなく、同じデータに当てはめた候補の間で比べます。尤度を計算できるモデルが前提で、学習に使ったデータだけで計算でき、検証用のデータを取り分ける必要はありません。予測の当たりやすさを重んじるならAIC、候補の中から最も確からしいモデルを選ぶことを重んじるならBIC、というのが使い分けの目安です。

見分けるコツ

罰則項だけを見比べます。第1項の−2×最大対数尤度は共通で、罰則が2×パラメータ数ならAIC、log(データ数)やln nが入っていればBICです。
データ数を変えたときの動きで確かめます。AICの罰則は変わりませんが、BICの罰則はlog(データ数)とともに重くなるので、データが多いほどBICは単純なモデルに傾きます。
どちらも値が小さいほど良いモデルです。「当てはまりの悪さ＋罰則」と読めば、大小の向きを取り違えません。

◯×チェック

同じデータに当てはめた候補のパラメータ数がすべて同じなら、AICとBICで選ばれるモデルは一致する。

答えを見る

答え ◯ 正しい

罰則項はどの候補でも同じ値になり、差がつくのは第1項の−2×最大対数尤度だけです。どちらの規準でも、最大対数尤度が最も大きいモデルが選ばれます。
データ数を100から200に増やすと、BICのパラメータ1つあたりの罰則も2倍になる。

答えを見る

答え × 誤り

罰則はデータ数の自然対数です。log 100≒4.61、log 200≒5.30なので、増えるのはlog 2≒0.69の分だけです。データ数に比例して増えるわけではありません。
パラメータを1つ増やして最大対数尤度が1.5上がったとき、データ数が100なら、AICは小さくなるがBICは大きくなる。

答えを見る

答え ◯ 正しい

第1項は−2×1.5で3下がります。罰則の増え方はAICが2、BICがlog 100≒4.61なので、AICは差し引き1下がり、BICは約1.61上がります。