SARSAとは

SARSAは、Q学習と並ぶ代表的な価値ベースの強化学習の手法です。1994年にラマリーとニランジャンが「Modified Connectionist Q-Learning」として提案しました。SARSAという名前はサットンの提案です。名前は、更新に使う5つの要素、状態（State）、行動（Action）、報酬（Reward）、次の状態（State）、次の行動（Action）の頭文字を並べたものです。

更新のしかた

SARSAは、状態と行動の組の価値である行動価値（Q値）を学習します。エージェントは状態sで行動aをとり、報酬rと次の状態s'を受け取ります。さらに、s'で次にとる行動a'を方策に従って選んでから、次の式でQ値を直します。

Q(s, a) ← Q(s, a) + α × (r + γ × Q(s', a') − Q(s, a))

αは学習率、γは割引率です。

Q学習との違い

Q学習は、次の状態で最も価値の高い行動のQ値max Q(s', a')を目標に使います。SARSAは、次に実際に選んだ行動a'のQ値を使います。式の違いはこの1か所だけですが、学ぶものが変わります。

学習中は、ε-greedy方策のように、ときどきランダムな行動を試して探索します。SARSAは、この探索も含めた、いま実際に従っている方策の価値を学びます。このような手法を方策オン型と呼びます。Q学習は、行動の選び方とは別に、最も価値の高い行動をとり続ける方策の価値を学ぶので、方策オフ型です。

結果の違い

崖沿いに近道がある迷路を考えます。Q学習は崖沿いの最短経路の価値を学びますが、探索中にときどき崖へ落ちます。SARSAは、探索で足を踏み外す危険も価値に織り込むので、崖から離れた安全な回り道を選ぶようになります。サットンとバートの教科書の例では、学習中に1エピソードで得る報酬の合計は、SARSAのほうが多くなりました。εを徐々に小さくすれば、どちらも最適な方策に近づきます。

覚え方

「SARSAは、自分が次に本当に打つ一手で見積もる」と覚えます。