LSTMとGRUの違い｜ゲートの数と記憶セルの有無｜G検定

結論

LSTMは、隠れ状態とは別の記憶セルと、入力・忘却・出力の3つのゲートで情報の出し入れを制御するRNNです。GRUは、記憶セルを持たず、リセットゲートと更新ゲートの2つで制御するLSTMの簡略版で、パラメータが少なく計算が軽く済みます。

比較表

LSTMとGRUの違いの比較表
観点	LSTM	GRU
英語	long short-term memory	gated recurrent unit
提案	1997年（HochreiterとSchmidhuber）。忘却ゲートは2000年の研究で追加	2014年（Choら、機械翻訳の研究の中で）
ゲート	入力ゲート・忘却ゲート・出力ゲートの3つ	リセットゲート・更新ゲートの2つ
情報を保つ場所	隠れ状態とは別の記憶セル	隠れ状態だけ（記憶セルを持たない）
重みの組（隠れ状態の大きさが同じとき）	4組	3組（LSTMの約4分の3）
勾配消失への効果	記憶セルを足し算で更新する経路があり、単純なRNNより起きにくい	更新ゲートが前の隠れ状態をそのまま残す経路を作り、単純なRNNより起きにくい
精度	GRUと同程度。課題によって優劣が入れ替わる	LSTMと同程度。課題によって優劣が入れ替わる
シラバス項目	技術分野項目22 回帰結合層	技術分野項目22 回帰結合層

それぞれの説明

LSTM

LSTMは、単純なRNNが苦手な、長い時間にわたる依存関係を学ぶために、1997年に提案されました。隠れ状態とは別に記憶セルを持ち、次の3つのゲートで情報の出し入れを調整します。

入力ゲート：新しい情報を記憶セルにどれだけ書き込むか
忘却ゲート：記憶セルの内容をどれだけ残すか
出力ゲート：記憶セルの内容をどれだけ隠れ状態として外に出すか

記憶セルは、前の内容に新しい情報を足し算で加えて更新されます。そのため、誤差が過去へ伝わる途中で消えにくくなります。最初のLSTMには忘却ゲートがなく、2000年の研究で加えられました。

GRU

GRUは、2014年にChoらが機械翻訳の研究の中で提案しました。記憶セルを持たず、隠れ状態だけで情報を保ちます。ゲートは次の2つです。

リセットゲート：新しい隠れ状態の候補を作るとき、前の隠れ状態をどれだけ使うか
更新ゲート：前の隠れ状態をどれだけ残し、候補をどれだけ取り込むか

更新ゲートは、LSTMの忘却ゲートと入力ゲートを1つにまとめた働きをします。出力ゲートはありません。

どちらを選ぶか

隠れ状態の大きさが同じなら、LSTMは重みを4組、GRUは3組持ちます。GRUのほうがパラメータが少なく、学習も推論も軽く済みます。精度は、2014年のChungらの比較実験で同程度と報告され、課題によって優劣が入れ替わります。計算資源が限られるならGRUを試し、実際には両方を検証データで比べて選ぶこともあります。

どちらも単純なRNNで起きやすい勾配消失を緩和しますが、勾配爆発まで防ぐものではありません。学習では、勾配クリッピングを併用することがあります。

見分けるコツ

ゲートの数で見分けます。入力・忘却・出力の3つならLSTM、リセット・更新の2つならGRUです。
GRUの更新ゲートは、LSTMの忘却ゲートと入力ゲートの働きを1つにまとめたものと考えます。GRUには、出力ゲートにあたるものがありません。
「どちらかが常に高精度」という選択肢は誤りです。主な違いは構造の簡単さと計算量で、精度は課題しだいです。

◯×チェック

GRUの更新ゲートは、LSTMの出力ゲートにあたるもので、隠れ状態のうち外に出す量だけを決める。

答えを見る

答え × 誤り

更新ゲートは、前の隠れ状態をどれだけ残し、新しい候補をどれだけ取り込むかを決めます。LSTMの忘却ゲートと入力ゲートをまとめた働きで、GRUには出力ゲートにあたるものがありません。
GRUのリセットゲートが0に近いとき、新しい隠れ状態の候補は、前の時刻の隠れ状態をほとんど使わず、現在の入力を中心に作られる。

答えを見る

答え ◯ 正しい

リセットゲートは、候補を作るときに前の隠れ状態をどれだけ使うかを決めます。前の隠れ状態を最終的にどれだけ残すかは、更新ゲートが別に決めます。
LSTMでは、出力ゲートを閉じても記憶セルの内容そのものは消えず、記憶セルの内容を消すかどうかは忘却ゲートが決める。

答えを見る

答え ◯ 正しい

出力ゲートが調整するのは、記憶セルの内容を隠れ状態として外に出す量です。GRUには、この読み出しの量を調整するゲートがありません。