データ汚染とは

データ汚染（データポイズニング）は、AIの学習データに手を加えて、できあがるモデルの振る舞いをゆがめる攻撃です。機械学習のモデルはデータから規則性を学ぶため、学習データが汚れると、汚れた規則性まで学んでしまいます。

仕組みと手口

攻撃者は、Webから自動で集められるデータ、外部から入手したデータセット、利用者からのフィードバックなど、学習データの入り口に不正なデータを紛れ込ませます。たとえば、誤ったラベルを付けた画像を混ぜると、モデルが引く判断の境界がずれます。2012年には、サポートベクターマシンの学習データに細工したデータを加えることで、テスト時の誤りを大きく増やせることが示されました。

狙いは大きく2つあります。1つは、モデル全体の精度を下げることです。もう1つは、特定の合図（トリガー）が入力に含まれたときだけ、攻撃者の望む出力をさせることです。後者はバックドア攻撃と呼ばれ、普段は正しく動くため、通常のテストでは見つけにくくなります。シールを貼った一時停止の標識だけを速度制限の標識と誤認識させる例が知られています。

大規模言語モデルも例外ではありません。2025年の研究では、調べた範囲のモデルの規模によらず、約250件の細工した文書でバックドアを仕込めたと報告されています。

ほかの攻撃との違い

データ汚染は学習時の攻撃です。学習済みのモデルは変えずに、推論時の入力を細工するAdversarial Examplesとは、仕掛ける段階が違います。配布される事前学習済みモデルそのものに細工するモデル汚染とも区別します。

対策

AI事業者ガイドラインの別添は、データセットの真正性や、収集・加工のプロセスの信頼性を確認することを挙げています。データの来歴を記録し、異常なデータを検知する技術や、汚染の影響を受けにくい学習方法を使うことも有効です。