RNNを用いたAttention付きのSeq2Seqと、2017年の元論文で提案されたTransformerを、翻訳文を生成する処理の観点で比べた説明として、最も適切なものを1つ選べ。
1つ選んでください
正解と解説を見る
解説
正解C
ポイント
Transformerも推論時のデコーダは生成済みの単語を使って1単語ずつ出力します。並列化の利点は主に学習時と入力側で生きます。
選択肢ごとの解説
- A
不適切
学習時は正解の出力文をまとめて入力し、マスクで後ろの位置を隠して全位置を並列に計算できます。しかし推論時は次の単語がまだ決まっていないため、1単語ずつ生成します。
- B
不適切
最後の隠れ状態だけに頼るのは、AttentionのないSeq2Seqの弱点です。Attention付きでは、出力の各時刻で、エンコーダのすべての時刻の隠れ状態を重み付けして参照します。
- C
適切 ◯ 正解
元論文のTransformerのデコーダは自己回帰的で、生成済みの単語を入力に加えて次の単語を予測します。並列計算の利点が大きいのは、学習時と、入力文をエンコーダで処理する部分です。
- D
不適切
Attentionを加えても、エンコーダとデコーダはRNNのままで、前の時刻の隠れ状態を使って順に計算します。系列方向の逐次計算をなくしたのは、RNNをSelf-Attentionに置き換えたTransformerです。
試験での狙われ方
「Transformerは並列計算できる」という性質を推論時の生成にまで広げた選択肢で、学習時と推論時の違いを確かめる形が考えられます。
関連用語
Transformer、Seq2Seq、Attention、RNN
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目23 Attention） 2026年10月31日閲覧
- Vaswani et al., Attention Is All You Need (2017) 2026年10月31日閲覧
- Bahdanau et al., Neural Machine Translation by Jointly Learning to Align and Translate (2014) 2026年10月31日閲覧