勾配降下法を改良した最適化手法に関する説明として、最も不適切なものを1つ選べ。
1つ選んでください
正解と解説を見る
解説
正解B
ポイント
AdaGradは勾配の二乗を累積し続けるため学習率が小さくなり続ける点が弱点です。RMSpropは指数移動平均でこれを緩和します。
選択肢ごとの解説
- A
適切
前回までの更新の方向を一定の割合で加えるため、行き来する成分は打ち消し合い、一貫した方向には加速します。勾配がほぼ0になる鞍点の付近でも、それまでの勢いで進めることがあります。
- B
不適切 ◯ 正解
AdaGradは過去の勾配の二乗を累積した和で学習率を割るため、学習が進むほど実質の学習率が小さくなり、更新がほぼ止まることがあります。指数移動平均で古い勾配の影響を薄めるのはRMSpropの工夫です。
- C
適切
Adamは勾配の平均と二乗の平均をそれぞれ指数移動平均で推定し、パラメータごとに更新幅を決めます。学習初期にこれらの推定値が0側に偏るのを補正する仕組みも持ちます。
- D
適切
Adamなどの適応的な手法は学習が速い一方、学習率が極端な値になり、汎化性能がSGDに劣る場合があると指摘されています。AdaBoundは学習率の範囲を動的に絞り、SGDへ滑らかに移行させます。
試験での狙われ方
手法名と特徴を入れ替えた説明文の正誤を問う形が典型的です。AdaGradとRMSpropの違いは特に区別しておきます。
関連用語
Adam、確率的勾配降下法、モーメンタム、AdaGrad、RMSprop
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目16 最適化手法） 2026年10月30日閲覧
- Duchi, Hazan, Singer, Adaptive Subgradient Methods for Online Learning and Stochastic Optimization (2011) 2026年10月30日閲覧
- Kingma, Ba, Adam: A Method for Stochastic Optimization (2014) 2026年10月30日閲覧
- Luo et al., Adaptive Gradient Methods with Dynamic Bound of Learning Rate (2019) 2026年10月30日閲覧