位置エンコーディングの必要性

ある開発チームが、文の分類にTransformerのエンコーダを使っている。試験的に位置エンコーディングを取り除いたところ、「犬が猫を追う」と「猫が犬を追う」のように、同じ単語からなり語順だけが異なる文を区別できなくなった。この現象の説明として、最も適切なものを1つ選べ。

正解と解説を見る

解説

正解D

ポイント

Self-Attentionだけでは入力の順序を区別できないため、Transformerは位置エンコーディングで各単語の位置の情報を与えます。

選択肢ごとの解説

A

不適切

Self-Attentionは系列を順番に処理せず、全位置の関係をまとめて計算します。並列に計算できるのはSelf-Attention自体の性質です。位置エンコーディングの役割は、その代わりに失われる順序の情報を補うことです。
B

不適切

位置エンコーディングが表すのは、単語が系列の何番目にあるかです。単語の頻度や意味とは関係がなく、同じ位置には単語によらず同じベクトルが足されます。
C

不適切

元のTransformerはsin関数とcos関数による固定の値を使いましたが、位置ごとのベクトルを学習で求める方法もあり、BERTなどで使われています。元論文でも、学習で求める方法とほぼ同じ結果が得られたと報告されています。
D

適切 ◯ 正解

Self-Attentionでは、入力の単語を並べ替えても、各単語の出力は並び順が入れ替わるだけで値は変わりません。そこで、各位置に固有のベクトルを入力に足す位置エンコーディングで順序の情報を与えます。

試験での狙われ方

位置エンコーディングがなぜ必要かを、順番に処理するため位置の情報を別に与えなくてよいRNNとの違いと合わせて問う形が考えられます。

関連用語

位置エンコーディング、Self-Attention、Transformer、BERT

参考

G検定試験出題範囲（シラバス2024）第1.4版（技術分野項目23 Attention） 2026年10月30日閲覧
Vaswani et al., Attention Is All You Need (2017) 2026年10月30日閲覧
Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018) 2026年10月30日閲覧

オリジナル問題（過去問ではありません） AIで作成人による確認：未誤りを報告

出典と作成について

作成：ウカトレ編集部（AIで作成し、別のAIが一次資料と照合。手順は編集方針）

公開日：2026年10月30日最終更新日：2026年10月30日最終確認日：2026年10月30日

シラバス第1.4版技術23「Attention」の問題です。