GRUとは

GRU（Gated Recurrent Unit）は、2014年にChoらが機械翻訳の研究の中で提案したRNNの一種です。LSTMの考え方をもとに、構造を簡単にしています。

2つのゲート

GRUは、LSTMのような独立した記憶セルを持たず、隠れ状態だけで情報を保ちます。情報の流れは、次の2つのゲートで制御します。

• リセットゲート：新しい隠れ状態の候補を作るときに、前の時刻の隠れ状態をどれだけ使うかを決めます。0に近いと過去をほぼ無視し、現在の入力を中心に候補を作ります。
• 更新ゲート：前の時刻の隠れ状態をどれだけ残し、新しい候補をどれだけ取り込むかを決めます。残す割合と取り込む割合は、足して1になります。

更新ゲートは、LSTMの忘却ゲートと入力ゲートの働きを1つにまとめたものと見なせます。LSTMの出力ゲートにあたるものはありません。

LSTMとの比較

隠れ状態の大きさが同じなら、LSTMは重みを4組、GRUは3組持ちます。そのためGRUのほうがパラメータが少なく、計算も軽く済みます。計算資源が限られる場合や、学習を速く済ませたい場合に選ばれることがあります。

精度については、Chungらの2014年の比較実験で、GRUはLSTMと同程度と報告されました。課題によって優劣が入れ替わるため、どちらかが常に優れているとはいえません。

位置づけ

GRUもLSTMも、ゲートによって情報を長く残す経路を作り、単純なRNNで起きやすい勾配消失を緩和します。いずれもゲート機構を持つRNNとして、Seq2Seqなどの系列変換モデルに使われてきました。

覚え方

「GRUはLSTMの簡略版。門はリセットと更新の2つ」と覚えます。