データ汚染とAdversarial Attackの違い｜学習時か推論時かと対策

結論

データ汚染は、学習データに不正なデータを紛れ込ませ、学習の段階でモデルそのものの判断をゆがめる攻撃です。Adversarial Attackは、学習済みのモデルには手を加えず、推論時の入力に人には気づきにくい細工を加えて誤った判断をさせる攻撃です。

比較表

データ汚染とAdversarial Attackの違いの比較表
観点	データ汚染	Adversarial Attack
別の呼び方	データポイズニング攻撃	敵対的攻撃、回避攻撃。細工した入力はAdversarial Examples（敵対的サンプル）
仕掛ける段階	学習時（学習データの収集・加工やシステム開発の段階）	推論時（運用中のシステムへの入力）
細工する対象	学習データ（データそのものやラベル）	推論時に入力するデータ
モデルへの影響	汚れたデータで学習したモデルの判断がゆがむ	モデルは変わらない。細工された入力に対して誤る
誤りが表れる入力	通常の入力でも精度が下がる場合と、合図（トリガー）を含む入力のときだけ誤るバックドアの場合がある	細工された入力
事例	特定のシールを貼った一時停止の標識を、速度制限の標識と判定するよう学習させる（BadNets、2017年）	パンダの画像に小さなノイズを加えてテナガザルと判定させる（2014年）。本物の標識に白黒のシールを貼って誤認識させる（2017年）
主な対策	データの真正性と収集・加工の過程の確認、汚染の検知、汚染に頑健な学習方法	敵対的学習などによる頑健性の向上、敵対的な入力の検知、アクセス回数・頻度の制限、複数のモデルの併用
シラバス項目	法律・倫理分野項目11 安全性とセキュリティ	法律・倫理分野項目11 安全性とセキュリティ
G検定での問われ方	事例から攻撃の名前を選ぶ形、学習時の攻撃である点、データの来歴の管理などの対策	事例から攻撃の名前を選ぶ形、推論時の入力の細工である点、敵対的学習などの対策、GANとの混同

それぞれの説明

データ汚染とAdversarial Attackは、どちらもAIに誤った判断をさせる、機械学習に特有の攻撃です。違いは、攻撃者がどの段階で何に手を加えるかにあります。AI事業者ガイドラインの別添も、データポイズニング攻撃と回避攻撃を別の脅威として整理し、それぞれに対策を挙げています。

データ汚染

データ汚染（データポイズニング）は、学習データに不正なデータを紛れ込ませる攻撃です。Webから集めるデータや外部のデータセットが入り口になります。誤ったラベルのデータを混ぜれば、モデル全体の精度が下がります。特定の合図（トリガー）を含むデータに攻撃者の望むラベルを付けて混ぜれば、普段は正しく動き、合図があるときだけ誤るモデルができます。これをバックドア攻撃と呼びます。2017年のBadNetsの研究では、特定のシールを貼った一時停止の標識を、速度制限の標識と判定する分類器が作られました。

Adversarial Attack

Adversarial Attack（敵対的攻撃）は、学習済みのモデルはそのままにして、推論時の入力に細工する攻撃です。細工した入力をAdversarial Examples（敵対的サンプル）と呼びます。パンダの画像に人の目ではわからないノイズを加え、テナガザルと判定させた例が知られています。本物の一時停止の標識に白黒のシールを貼り、走行中の車から撮った映像でも誤認識させた研究もあります。ガイドラインの別添では回避攻撃と呼びます。

広い意味では、データ汚染を含む機械学習への攻撃全体を敵対的な攻撃と呼ぶこともあります。シラバスでは両者が別のキーワードなので、G検定では推論時の入力を細工する攻撃と読むのが自然です。

対策の違い

データ汚染には、データの収集元や加工の過程を確かめ、異常なデータを検知することが効きます。Adversarial Attackはきれいなデータで学習したモデルにも成立するため、データの管理だけでは防げません。敵対的サンプルを学習に加える敵対的学習、異常な入力の検知、問い合わせの回数や頻度の制限などを組み合わせます。

見分けるコツ

「いつ、何に細工するか」で見分けます。学習データに混ぜるならデータ汚染、運用中のモデルへの入力に加えるならAdversarial Attackです。
標識にシールを貼る事例は両方にあります。シール付きの画像を誤ったラベルで学習データに混ぜておくのはデータ汚染（バックドア）で、学習には手を加えずシールの細工だけで誤認識させるのはAdversarial Attackです。
配布される学習済みモデルの重みに細工するのはモデル汚染です。学習データを汚すデータ汚染とは、細工する対象が異なります。

◯×チェック

Adversarial Attackは、攻撃者が標的のモデルの学習データに手を加えられる場合にしか成立しない。

答えを見る

答え × 誤り

Adversarial Attackは、学習済みのモデルへの入力を細工する攻撃です。学習データに触れられなくても、推論時に入力を送れれば仕掛けられます。
汚染のおそれがないデータだけでモデルを学習し直しても、Adversarial Examplesによる誤認識を防げるとは限らない。

答えを見る

答え ◯ 正しい

Adversarial Examplesは、きれいなデータで学習したモデルの弱点を突きます。データの管理は主にデータ汚染への備えで、敵対的学習や入力の検知などを別に組み合わせます。
データ汚染を受けたモデルは、細工されていない通常の入力に対しても、誤った判定をすることがある。

答えを見る

答え ◯ 正しい

全体の精度を下げる狙いで誤ったラベルのデータを混ぜる手口では、通常の入力でも誤りが増えます。一方、合図を含む入力のときだけ誤るバックドア型は、通常の入力では正しく動くため気づきにくくなります。