誤差逆伝播法とは

誤差逆伝播法は、ニューラルネットワークを学習させるときに使う、勾配の計算方法です。英語の名前からバックプロパゲーションとも呼ばれます。

何を計算しているのか

学習では、出力と正解のずれ（誤差）が小さくなるように重みを調整します。そのためには、各重みを少し動かしたときに誤差がどれだけ変わるか、つまり勾配が必要です。しかし重みの数は非常に多く、大きなモデルでは数十億個にもなります。1つずつ動かして調べていては、時間がかかりすぎます。

誤差逆伝播法は、すべての重みの勾配をまとめて効率よく求めます。まず入力から出力へ順に計算し（順伝播）、各層の値を記録しておきます。次に出力層の誤差から出発し、入力層へ向かって逆向きに勾配を伝えます（逆伝播）。各層では、合成関数の微分の規則である連鎖律を使います。後ろの層から届いた勾配に自分の層の微分を掛け、さらに前の層へ渡していきます。

信用割当問題との関係

多層のネットワークでは、出力の誤りに対して、どの層のどの重みにどれだけ責任があるかを決めるのが難しくなります。これを信用割当問題と呼びます。誤差逆伝播法は、各重みの責任の大きさを勾配という数値で示し、この問題に1つの答えを与えました。1986年にラメルハートらが発表した論文をきっかけに広まり、多層パーセプトロンを学習させる標準的な方法になりました。

弱点と周辺の概念

逆伝播では各層の微分を掛け合わせるため、層が深いと勾配が極端に小さくなったり（勾配消失問題）、大きくなったり（勾配爆発問題）します。RNNでは、時間方向に展開して同じ計算を行うBPTTが使われます。

なお、誤差逆伝播法が受け持つのは勾配の計算までです。求めた勾配を使って重みを更新するのは、確率的勾配降下法やAdamなどの最適化手法です。

覚え方

「誤差を出口から入口へ、微分の掛け算で配る」と覚えます。