Multi-Head Attentionとは

Multi-Head Attentionは、Attentionの計算を複数の「ヘッド」に分けて同時に行う仕組みです。2017年にTransformerの論文で提案されました。

なぜ複数に分けるのか

単語どうしの関係は1種類ではありません。主語と述語という文法上の関係もあれば、「それ」が何を指すかという関係もあります。Attentionが1つだけだと、注目の重みは1通りしか作れません。さまざまな関係が平均されてぼやけます。

そこで、ヘッドごとに別の観点で重みを計算させます。元の論文でも、ヘッドごとに異なる働きを学び、文の構造や意味に関係する振る舞いが見られたと報告されています。各ヘッドの役割は、人ではなく学習で決まります。

計算の流れ

1. 入力をヘッドごとに異なる重み行列で射影し、次元の小さいクエリ・キー・バリューを作ります。
2. 各ヘッドで、独立にScaled Dot-Product Attentionを計算します。
3. 全ヘッドの出力を結合（Concat）し、重み行列W^Oを掛けて1つの出力にまとめます。

式ではMultiHead(Q, K, V) = Concat(head_1, …, head_h) W^Oと書きます。

元のTransformerでは、モデルの次元512をヘッド数8で割り、各ヘッドは64次元で計算します。そのため全体の計算量は、512次元のまま1回計算する場合とほぼ同じです。各ヘッドは並列に計算できます。

Transformerの中での位置づけ

Transformerでは、エンコーダのSelf-Attention、デコーダのマスク付きSelf-Attention、Source-Target Attentionの3か所すべてがMulti-Head Attentionです。Transformerを土台とするBERTやGPTなどでも使われています。

覚え方

「着眼点の違う8人で同時に読み、メモを持ち寄ってまとめる」と覚えます。