モデルの選択・評価（シラバス 技術10）

汎化性能と過学習

モデルに求められるのは、学習に使っていない新しいデータでよく当たることです。この力を汎化性能と呼びます。学習データに対する誤差（訓練誤差）が小さくても、未知のデータに対する誤差（汎化誤差）が大きければ役に立ちません。学習データの細かなノイズまで覚え込み、訓練誤差だけが小さくなった状態が過学習です。

検証の方法

• ホールドアウト検証：データを学習用とテスト用に一度だけ分けて評価します。手軽ですが、分け方によって結果がぶれます。
• 交差検証：分け方を変えながら学習と評価を繰り返し、結果を平均します。
• k-分割交差検証：データをk個に分け、1つをテスト用、残りを学習用にする組み合わせをk通り試して平均します。データが少なくても、すべてのデータを評価に使えます。

分類の評価

混同行列は、実際の正例・負例と、予測の陽性・陰性の組み合わせを4つのマスに数えた表です。

• 真陽性（TP）・真陰性（TN）：正例を陽性、負例を陰性と正しく予測したもの。
• 偽陽性（FP）：負例を陽性と予測したもの（誤検知）。
• 偽陰性（FN）：正例を陰性と予測したもの（見逃し）。

ここから次の指標を計算します。

• 正解率：(TP + TN) ÷ 全件数
• 適合率：TP ÷ (TP + FP)。陽性と予測したもののうち、本当に正例だった割合です。
• 再現率：TP ÷ (TP + FN)。実際の正例のうち、陽性と予測できた割合です。
• F値：適合率と再現率の調和平均で、2 × 適合率 × 再現率 ÷ (適合率 + 再現率) です。

病気の見逃しを避けたい検査では再現率を、正常なメールを迷惑メールと誤判定したくないフィルタでは適合率を重視します。

ROC曲線・AUC：判定のしきい値を動かしたときの偽陽性率（横軸）と真陽性率（縦軸）の関係を描いたのがROC曲線、その下側の面積がAUCです。1に近いほどよく、でたらめな予測では0.5前後になります。

回帰の評価

• 平均二乗誤差(MSE)：予測と正解の差を2乗して平均した値です。大きく外れた予測に強く反応します。
• 二乗平均平方根誤差(RMSE)：MSEの平方根です。予測対象と同じ単位で誤差の大きさを表せます。
• 平均絶対値誤差(MAE)：差の絶対値の平均です。外れ値の影響をMSEやRMSEより受けにくい指標です。

モデルの複雑さと選択

パラメータを増やすと訓練誤差は下がりますが、過学習の危険が高まります。オッカムの剃刀は、同じくらい説明できるなら単純なほうを選ぶという考え方です。情報量規準はこれを数値にしたもので、値が小さいモデルほどよいと判断します。

• 赤池情報量規準(AIC)：-2 × 最大対数尤度 + 2 × パラメータ数
• ベイズ情報量規準(BIC)：-2 × 最大対数尤度 + log(データ数) × パラメータ数

BICはデータが多いほどパラメータへのペナルティが重くなります。データ数が8件以上ならAICより罰則が重く、単純なモデルを選びやすくなります。