Self-Attentionとは

Self-Attention（自己注意機構）は、1つの文章の中で、各単語がほかの単語をどれだけ参考にするかを決める仕組みです。「店員は客に傘を渡した。それは濡れていた。」なら、「それ」の表現を作るときに「傘」へ大きな重みを置きます。Transformerの中心となる部品です。

しくみ

各単語のベクトルから、別々の重み行列で3種類のベクトルを作ります。

• クエリ：自分がどんな情報を探しているか
• キー：自分の内容を示す見出し
• バリュー：参照されたときに渡す中身

ある単語のクエリと、文中の全単語のキーとの内積で関連度を求めます。Transformerでは、これをキーの次元数d_kの平方根で割り、ソフトマックス関数で合計1の重みに変えます。その重みでバリューを加重和したものが出力です。まとめるとsoftmax(QK^T / √d_k) Vと書けます。

注目の重みは固定ではなく、入力のたびに計算されます。同じ単語でも、文脈が変われば注目する相手が変わります。

RNNとの違い

RNNは単語を1つずつ順に処理するため、離れた単語の情報が途中で薄れやすく、計算も順番にしか進められません。Self-Attentionは、どの2語の間も1回の計算で直接結びつけます。全位置をまとめて計算できるので、GPUで効率よく学習できます。

弱点は、全単語の組み合わせを計算するため、計算量が文の長さの2乗に比例することです。また、並び順を区別しないので、Transformerでは位置エンコーディングで順序を補います。

周辺の用語との関係

クエリをデコーダ側、キーとバリューをエンコーダ側から作るものは、Source-Target Attentionです。Attentionを複数のヘッドに分けて並列に計算するのがMulti-Head Attentionです。

覚え方

「文の中で、探しもの（クエリ）を見出し（キー）と照合し、中身（バリュー）を集める」と覚えます。