勾配消失問題とは

勾配消失問題は、層の深いニューラルネットワークや、長い系列を扱うRNNで、学習が進まなくなる現象です。深いネットワークの学習が長く難しいとされてきた大きな理由の1つです。

なぜ起きるのか

ニューラルネットワークは誤差逆伝播法で学習します。出力の誤差をもとに、各重みを「どちらにどれだけ動かせば誤差が減るか」を表す勾配を求めます。このとき連鎖律により、出力層から入力層へ向かって、各層の微分が次々に掛け合わされます。

掛け合わせる値が1より小さいと、層をさかのぼるほど積は急速に小さくなります。たとえば0.25を10回掛けると、約100万分の1になります。シグモイド関数の微分は最大でも0.25なので、この状況が起きやすくなります。その結果、出力層に近い層は学習できても、入力層に近い層の重みはほとんど変わりません。

RNNでも同じことが起きます。RNNは時間方向に展開すると深いネットワークになり、BPTTで過去にさかのぼるたびに勾配が掛け合わされます。そのため、遠い過去の情報を学習しにくくなります。

主な対策

• 活性化関数：正の範囲で微分が1になるReLU関数を使う。
• 重みの初期値：層の大きさに合わせた初期化（Xavierの初期値、Heの初期値）を使う。
• バッチ正規化：各層への入力の分布を整え、活性化関数が飽和しにくくする。
• スキップ結合：ResNetのように層を飛び越える経路を作り、勾配を直接伝える。
• ゲート機構：RNNではLSTMやGRUを使い、情報と勾配を長く保つ。

勾配爆発問題との違い

逆に、掛け合わせる値が1より大きいと、勾配が急激に大きくなります。これが勾配爆発問題です。重みが極端な値になり、学習が発散します。勾配の大きさに上限を設ける勾配クリッピングが代表的な対策です。

覚え方

「1より小さい数の掛け算は、すぐに0へ近づく」と覚えます。