データリーケージとは

データリーケージは、本来なら予測の時点では手に入らない情報が、モデルの学習や評価に紛れ込んでしまうことです。leakageは「漏れ」という意味で、答えに関する情報がモデルの側に漏れ出している状態を指します。試験にたとえると、問題用紙と一緒に解答の一部が配られているようなものです。

何が困るのか

リーケージがあると、検証では高い精度が出ます。しかし本番では、紛れ込んでいた情報が手に入らないので、精度が大きく下がります。評価の数字を信じて導入を決めた後で発覚するため、損失が大きくなりがちです。

過学習とは見え方が違います。過学習は、学習データでは精度が高いのに検証データで下がる現象なので、検証の段階で気づけます。リーケージは検証の数字そのものが甘くなるので、検証だけでは気づきにくいのが厄介な点です。

典型的なパターン

• 目的変数の結果として記録される項目を、特徴量に使う。例：病気の有無を予測するのに、診断の後で始まる治療薬の処方記録を使う。
• 時系列データを無作為に分け、未来のデータで学習して過去を予測する。
• 標準化や欠損値の補完、特徴量の選択を、検証用データも含めた全データで行ってから分割する。
• 同じ人や同じ製品のデータが、学習用と検証用の両方に入る。

防ぎ方

基本は、「予測するその時点で、この情報は本当に手に入るか」を特徴量ごとに確かめることです。データは先に分割し、前処理に使う平均などの値は学習用データだけから求めます。時系列データは時間の順に分けます。検証の精度が不自然に高いときは、目的変数と極端に強く結びつく特徴量がないかを疑います。

覚え方

「本番で手に入らない情報は、学習にも評価にも入れない」が合言葉です。