方策勾配法とは

方策勾配法は、強化学習で「どう行動するか」という方策そのものを直接改善する手法の総称です。Q学習のように行動の価値を推定してから行動を決める価値ベースの手法に対して、方策ベースの手法と呼ばれます。

仕組み

方策を、パラメータθをもつ関数π(a|s, θ)で表します。たとえば、ニューラルネットワークに状態を入力し、各行動を選ぶ確率をソフトマックス関数で出力させます。目標は、収益の期待値J(θ)を大きくすることです。そこでJ(θ)の勾配を求め、その方向へパラメータを少しずつ動かします。

θ ← θ + α × ∇J(θ)

誤差を小さくする勾配降下法とは向きが逆で、目的関数を大きくする勾配上昇の形です。この勾配は、方策勾配定理により、実際に行動して得た経験から見積もれます。環境の状態遷移確率を知る必要はありません。直感的には、収益が大きかった行動ほど、その状態で選ばれる確率を上げる更新です。

利点

• 行動が連続値でも扱える。方策を正規分布などで表し、その平均などを出力すればよい。
• 複数の行動を決まった確率で出し分けるのが最善の課題でも、その確率をそのまま学べる。
• 行動を選ぶ確率がパラメータに応じてなめらかに変わるため、価値ベースの手法より収束の理論的な保証を得やすい。

弱点

経験から見積もる勾配はばらつき（分散）が大きく、多くの試行が必要です。1回の更新で方策を大きく変えすぎると、性能が急に落ちることもあります。また、局所最適解にとどまることがあります。

代表的な手法

ウィリアムズが1992年の論文で示したREINFORCEが基本形です。価値関数で行動を評価してばらつきを抑えるのがActor-Criticで、深層強化学習のA3CやPPOにつながります。AlphaGoでは、人間の棋譜で学習した方策ネットワークを、自己対戦と方策勾配法でさらに強くしました。

覚え方

「価値を測ってから選ぶのではなく、選び方そのものを勾配で直す」と覚えます。