状態価値関数とは

状態価値関数は、強化学習で「いまいる状態がどれだけ有利か」を数値で表すものです。将棋でいえば、盤面を見て「この局面はやや有利」と評価する感覚に近いものです。記号ではV(s)やVπ(s)と書きます。

何を表すのか

強化学習のエージェントは、行動するたびに報酬を受け取ります。目標は、目先の報酬ではなく、将来にわたる報酬の合計を大きくすることです。そこで、先の報酬ほど割引率γ（0から1の間の値）を掛けて小さく見積もり、足し合わせます。これを割引累積報酬（収益）と呼びます。

G = r1 + γ × r2 + γ² × r3 + …

状態価値関数Vπ(s)は、状態sから出発し、その後は方策πに従って行動したときの収益の期待値です。直後の報酬だけでなく、その先に得られる報酬まで含めて評価する点が重要です。

方策によって値が変わる

同じ状態でも、その後の行動の仕方が違えば、得られる報酬も違います。そのため、状態価値は方策ごとに決まります。最もよい方策に従ったときの状態価値を、最適状態価値関数と呼びます。

行動価値関数との違い

行動価値関数Q(s, a)は、状態sで行動aをとり、その後は方策に従ったときの収益の期待値です。状態価値関数は状態だけを評価し、行動価値関数は状態と行動の組を評価します。同じ方策のもとでは、状態価値は、各行動の行動価値を、方策がその行動を選ぶ確率で重み付けして平均したものになります。

状態価値関数だけから行動を選ぶには、どの行動でどの状態に移るかという環境の知識が必要です。一方、行動価値なら値を比べるだけで行動を選べます。Q学習やSARSAが行動価値を学ぶのはこのためです。Actor-Criticでは、Critic（評価役）が状態価値を学び、Actor（行動役）の方策の改善に使うことがあります。

覚え方

「Vは局面の値打ち、Qは局面と一手の値打ち」と覚えます。