Self-AttentionとSource-Target Attentionの違い

Attentionは、クエリと各キーとの関連度から重みを求め、その重みでバリューを足し合わせる仕組みです。Transformerでは、どちらもsoftmax(QK^T / √d_k) Vという同じ式で計算します。違いは、クエリとキー・バリューをどの系列から作るかにあります。

Self-Attention

クエリ・キー・バリューを、すべて同じ系列から作ります。各単語が、同じ文の中のすべての単語との関連度を計算し、文脈を反映した表現を作ります。「彼女は駅で友人に会い、彼に本を返した。」なら、「彼」の表現を作るときに「友人」へ大きな重みを置く、といった働きです。

元のTransformerでは、エンコーダの各層と、デコーダの各層の両方にあります。デコーダ側では、まだ生成していない後ろの位置を参照しないように、マスクをかけます。エンコーダだけを使うBERTも、デコーダだけを使うGPTも、Attentionの部分はSelf-Attentionだけでできています。

Source-Target Attention

クエリを出力側（デコーダ）の系列から、キーとバリューを入力側（エンコーダの出力）から作ります。翻訳なら、訳文を作っているデコーダが「次の訳語には原文のどこが必要か」を問い、原文の各位置と照らし合わせて情報を集めます。Transformerの論文での呼び名はEncoder-Decoder Attentionで、クロスアテンションとも呼ばれます。

元のTransformerでは、デコーダの各層で、マスク付きSelf-Attentionの次に置かれます。原文は最初からすべてそろっているので、未来の位置を隠すマスクは要りません。2つの異なる系列をつなぐための仕組みで、現在は、画像生成モデルが文章の指示を取り込む部分などにも同じ形のAttentionが使われています。