RMSpropとは

RMSpropは、勾配降下法の歩幅（学習率の効き方）をパラメータごとに自動で調整する最適化手法です。名前は、2乗平均の平方根を表すroot mean squareに由来します。2012年にGeoffrey Hintonがオンライン講義で紹介した手法で、単独の論文としては発表されていません。

AdaGradの弱点

先に提案されたAdaGradは、パラメータごとに過去の勾配の2乗を足し続け、その合計の平方根で勾配を割ります。これまでの勾配が大きかったパラメータほど、歩幅が小さくなるしくみです。ただし合計は増える一方なので、学習が進むと歩幅が0に近づき、途中で学習がほとんど止まってしまいます。

合計を移動平均に置き換える

RMSpropは、合計の代わりに指数移動平均を使います。

• v ← ρ・v + (1 − ρ)・g²（gは勾配、ρは0.9などの減衰率）
• θ ← θ − η・g / (√v + ε)（ηは学習率、εは0での割り算を防ぐ小さな値）

移動平均では古い勾配の影響が少しずつ薄れ、直近の勾配の大きさが主に反映されます。そのため、歩幅が小さくなり続けることはありません。損失の地形が場所によって大きく変わる、ニューラルネットワークのような問題で扱いやすい手法です。

ほかの手法との関係

同じころ、AdaDeltaもAdaGradの弱点を移動平均で和らげる手法として提案されました。AdaDeltaは過去の更新量の大きさも使い、学習率をあらかじめ設定しなくてよい形にしています。その後のAdamは、RMSpropの「勾配の2乗の移動平均で歩幅を調整する」考え方に、モーメンタムの「進む向きを平均する」考え方を組み合わせました。

覚え方

「AdaGradは合計、RMSpropは移動平均」と覚えます。