AdaGradとは

AdaGradは、デュチらが2011年の論文で示した最適化手法です。名前はadaptive gradient（適応的な勾配）に由来します。確率的勾配降下法（SGD）ではすべてのパラメータに同じ学習率を使いますが、AdaGradはパラメータごとに学習率を自動で調整します。

更新のしかた

パラメータごとに、これまでの勾配gの二乗を足し続けた値hを記録し、次のように更新します。

h ← h + g²

θ ← θ − η × g / √h

ηは学習率です。実際には0で割らないよう、分母に小さな値を足します。過去に大きな勾配を何度も受けたパラメータほどhが大きくなり、実質的な学習率η / √hは小さくなります。逆に、勾配がまれにしか生じないパラメータは、学習率が大きめに保たれます。

何がうれしいのか

自然言語処理などで扱う疎なデータでは、多くの特徴量がたまにしか現れません。普通のSGDでは、こうした特徴量の重みはめったに更新されず、学習が進みにくくなります。AdaGradなら、まれな特徴量にも大きめの幅で学習させられます。パラメータごとの学習率を手で調整する手間も減ります。

弱点

hは勾配の二乗を足し続けるだけなので、学習が進むほど大きくなる一方です。そのため、実質的な学習率は小さくなり続け、やがてほとんど0になります。深いニューラルネットワークの学習では、よい解にたどり着く前に更新が止まってしまうことがあります。

後継の手法

この弱点を和らげる改良が続きました。

• RMSprop：勾配の二乗を単純に足すのではなく、指数移動平均をとって古い勾配の影響を徐々に薄めます。
• AdaDelta：RMSpropと同じく移動平均を使い、さらに過去の更新量も使うことで、学習率の設定を不要にしました。
• Adam：RMSpropの考え方に、モーメンタムを組み合わせました。

覚え方

「AdaGradは足すだけで忘れない。だから歩幅が縮み続ける」と覚えます。