PPOとは

PPOは、OpenAIのJohn Schulmanらが2017年に発表した強化学習の手法です。方策勾配法の一種で、方策と状態価値を同時に学ぶActor-Criticの形でよく使われます。

方策を少しずつ変える

方策勾配法は、よい結果につながった行動を選ぶ確率を上げるように、方策を直接更新します。ただし、1回の更新で方策を大きく変えすぎると、それまでの学習が崩れて、性能が急に落ちることがあります。

そこでPPOは、更新後と更新前の方策が同じ行動を選ぶ確率の比r = π_new(a|s) / π_old(a|s)に注目します。この比が1−εから1+εの範囲を超えても、目的関数がそれ以上よくならないようにクリップします。論文のロボット制御の実験では、ε = 0.2が最もよい結果でした。方策を大きく動かしても得をしないので、更新が穏やかになります。

TRPOとの関係

同じ目的の先行手法に、TRPO（信頼領域方策最適化）があります。TRPOは、更新前後の方策の違いをKL情報量で測り、一定以下に抑える制約を課しますが、計算が複雑です。PPOは、クリップという簡単な工夫でTRPOに近い安定性を得ています。同じデータで複数回の更新を繰り返せるので、データも効率よく使えます。実装しやすいことから、広く使われるようになりました。

主な利用例

論文では、ロボットの歩行のような連続値制御の課題と、Atariのゲームで評価しました。OpenAI Fiveは、PPOを使った大規模な自己対戦の強化学習で、Dota 2を学びました。また、InstructGPTのRLHFでは、報酬モデルの点数が高くなるように言語モデルを更新する段階で、PPOが使われました。

覚え方

「Proximal（近くの）＝前の方策の近くで少しずつ更新」と覚えます。