Grad-CAMとは

Grad-CAM（Gradient-weighted Class Activation Mapping）は、画像認識のCNNが「画像のどこを見てその判断をしたか」を、色の濃淡で示す手法です。2016年にSelvarajuらが発表しました。説明可能AI（XAI）の代表的な手法の1つです。

仕組み

CNNの最後の畳み込み層は、多数の特徴マップを出力します。それぞれの特徴マップは、「耳のような形」「毛並みの模様」など、何らかの特徴が画像のどこにあるかを表します。

Grad-CAMは、注目したいクラス（たとえば「猫」）のスコアを、各特徴マップで微分した勾配を求めます。勾配をマップ全体で平均した値を、その特徴マップの重要度とします。重要度で重み付けして特徴マップを足し合わせ、ReLU関数で正の部分だけを残すと、そのクラスの判断に効いた領域を示すヒートマップが得られます。

CAMとの違い

もとになったCAM（2015年）は、最後の畳み込み層の直後にグローバルアベレージプーリング（GAP）を置き、その後に出力層をつなぐ構造が前提です。そうでないモデルに使うには、構造を変えて学習し直す必要がありました。Grad-CAMは重みを勾配から計算するため、全結合層をもつ一般的なCNNにも、構造を変えず再学習もせずに適用できます。

使いどころと注意

モデルが妥当な根拠で判断しているかの確認に役立ちます。一方、最後の畳み込み層の特徴マップは入力画像より小さいため、入力画像の大きさに拡大して重ねると、ヒートマップは粗くなります。細かい模様まで見るには、Guided Backpropagationと組み合わせたGuided Grad-CAMを使います。また、主にCNNが対象で、モデルの種類を問わない手法にはLIMEやSHAPがあります。

覚え方

「勾配（Grad）で重みを決めるCAM」と覚えます。