説明可能AI（XAI）とは

説明可能AI（XAI：Explainable AI）は、AIがなぜその予測や判断をしたのかを、人が理解できる形で示すための技術や研究の総称です。

なぜ必要か

ディープラーニングのモデルは、膨大な数のパラメータが複雑に組み合わさって判断します。入力と出力はわかっても、途中で何が起きたかを人は読み取れません。これをブラックボックス問題といいます。

融資の審査や医療の診断のように、結果が人に大きな影響を与える場面では、根拠を説明できなければ、関係者が判断を信頼したり誤りに気づいたりできません。また、テストでの精度が高くても、データの偏りや無関係な手がかりに頼っている場合があります。根拠を確かめることは、こうした問題を見つける手段にもなります。

手法の分け方

まず、決定木や線形回帰のような、構造から判断の過程を読み取れるモデルを選ぶ方法があります。もう1つは、複雑なモデルに後から説明を付ける方法です。後者には、1件の予測を説明する局所的な手法と、モデル全体の傾向を説明する大域的な手法があります。

• LIME：説明したい1件の周辺を、単純なモデルで近似して説明します（局所的）。
• SHAP：協力ゲーム理論のシャープレイ値で、各特徴量の貢献度を求めます。1件ごとの説明を集めて全体の傾向も見られます。
• Permutation Importance：特徴量の値を並べ替えたときの精度の低下から、重要度を測ります（大域的）。
• CAM・Grad-CAM：画像のどこに注目したかを、ヒートマップで示します。

社会との関係

XAIは、AI倫理で重視される透明性やアカウンタビリティ（説明責任）を、技術の面から支えます。

覚え方

「答えだけでなく、途中式も見せるAI」と覚えます。