Seq2Seqとは

Seq2Seq（Sequence-to-Sequence）は、ある系列を別の系列に変換するモデルです。英語の文を日本語の文に変える機械翻訳が代表例です。2014年に、SutskeverらとChoらが、RNNを使ったエンコーダ・デコーダ型のモデルをそれぞれ発表しました。

しくみ

2つのRNNを組み合わせます。

• エンコーダ：入力の単語を1つずつ読み込み、最後の隠れ状態に文全体の情報をまとめます。このベクトルを文脈ベクトルと呼ぶことがあります。
• デコーダ：文脈ベクトルを受け取り、出力の単語を1つずつ生成します。直前に出力した単語を次の時刻の入力に使い、文の終わりを表す記号を出したら止まります。

RNNには、長い系列を扱いやすいLSTMやGRUが使われました。Sutskeverらは、入力文の単語の順番を逆にして読み込ませると、翻訳の精度が大きく上がったと報告しています。

入力を読み終えてから出力を始めるので、入力と出力の長さが違っていてもかまいません。翻訳のほか、文書要約、対話、音声認識などにも応用されました。

学習

学習では、教師強制（teacher forcing）がよく使われます。デコーダの入力に、モデル自身の予測ではなく正解の単語を与える方法です。

弱点とその後

基本形のSeq2Seqは、入力文全体を1つの固定長のベクトルに押し込みます。そのため、文が長くなるほど情報が失われやすくなります。この問題を解決するため、デコーダが出力のたびに入力の各位置を参照するAttentionが加えられました。

2017年のTransformerも、エンコーダとデコーダからなる系列変換のモデルです。ただし、RNNを使わず、Attentionを中心に系列を処理します。

覚え方

「読んでまとめるエンコーダ、まとめから書き出すデコーダ」と覚えます。