Transformerとは

Transformerは、2017年にGoogleの研究者らが論文「Attention Is All You Need」で発表したモデルです。それまでの機械翻訳は、RNNを使うSeq2SeqにAttentionを加える形が主流でした。Transformerは、RNNも畳み込みも使わず、Attentionを中心に組み立てました。

構造

翻訳元の文を読むエンコーダと、訳文を1語ずつ出力するデコーダからなります。元の論文では、どちらも同じ構造の層を6つ重ねています。

• エンコーダの層：Self-Attentionと、位置ごとの全結合ネットワーク
• デコーダの層：後ろの単語を隠すマスク付きSelf-Attention、エンコーダの出力を参照するSource-Target Attention、位置ごとの全結合ネットワーク

Attentionはすべて、Multi-Head Attentionです。各部分には残差接続とレイヤー正規化が加わります。

位置エンコーディング

Self-Attentionは、単語の並び順を区別しません。このままでは「犬が猫を追う」と「猫が犬を追う」を見分けられません。そこで、位置を表すベクトルを単語の埋め込みに足して入力します。元の論文では、周波数の異なるサイン関数とコサイン関数でこのベクトルを作ります。

強みと弱み

前の単語の計算を待たずに、学習時に全位置を並列に計算できます。離れた単語どうしも直接結びつくため、長い文の関係も捉えやすくなりました。この性質が、大規模な学習を後押ししました。弱みは、計算量が文の長さの2乗に比例することです。

その後の広がり

エンコーダ部分を使うBERT、デコーダ部分を使うGPTシリーズなど、その後の言語モデルの多くがTransformerを土台にしています。画像を小さなパッチに分けて単語のように扱うVision Transformerにより、画像認識にも広がりました。