安全性とセキュリティ（シラバス 法律・倫理11）

安全性とセキュリティの違い

AI事業者ガイドラインは、「安全性」と「セキュリティ確保」を別々の指針として挙げています。

• 安全性：AIの誤作動や想定外の使われ方で、人の生命・身体・財産、精神や環境に害が出ないようにすることです。悪意がなくても問題になります。
• セキュリティ：悪意ある第三者の不正な操作から、AIシステムの機密性・完全性・可用性を守ることです。

自動運転車が逆光で標識を見落とすのは、安全性（さまざまな状況で性能を保つ堅牢性）の問題です。誰かが標識にシールを貼って誤認識させるのは、セキュリティの問題です。

AIならではの攻撃

AIには、従来のシステムへの攻撃に加えて、学習データやモデルそのものを狙う攻撃があります。

キーワード	仕掛ける時期	狙い	例
データ汚染	学習時	判断を狂わせる	自動収集される学習データに、誤ったラベルの画像を紛れ込ませる
モデル汚染	開発時・配布時	判断を狂わせる	公開する事前学習済みモデルに、特定の目印でだけ誤動作するバックドアを仕込む
Adversarial Attack（Adversarial Examples）	推論時	判断を狂わせる	人には気づけない小さなノイズを画像に加え、別のものと誤分類させる
モデル窃取	推論時	モデルを盗む	APIに大量に問い合わせ、入力と出力の組から複製モデルを作る
データ窃取	推論時	学習データを盗む	モデルの応答から、学習データに含まれる個人情報を引き出す

汚染されたモデルはふだんの入力には正しく答えるため、通常の精度テストでは見つけにくくなります。盗まれたモデルは、Adversarial Examplesを作るための下調べにも使われます。

狙いで2つに分けて覚える

• 判断を狂わせる（完全性の侵害）：データ汚染、モデル汚染、Adversarial Examples
• 情報を盗む（機密性の侵害）：モデル窃取、データ窃取

データ窃取は、プライバシーの侵害にも直結します。

対策とセキュリティ・バイ・デザイン

セキュリティ・バイ・デザインは、セキュリティを企画・設計の段階から組み込む考え方です。完成後に後付けすると手戻りが増え、費用もかさみます。まず脅威分析で「何を、何から守るか」をはっきりさせ、セキュリティ要件に落とし込みます。

攻撃	対策の例
データ汚染	データの収集元と加工の履歴を確かめ、真正性を確認できないデータは使わない
モデル汚染	モデルや学習用プログラムを信頼できる提供元から入手し、改ざんを検知する
Adversarial Examples	敵対的なデータを混ぜて学習し頑健性を高める、異常な入力を検知する
モデル窃取	問い合わせの回数を制限する、確信度を細かく返さないなど出力を必要な範囲に絞る
データ窃取	プライバシーを保護する学習手法を使う

ガイドラインも、AIの脆弱性は完全には排除できないとしています。運用中も監視を続け、問題が起きたときの対応手順を前もって決めておきます。