ある物流会社は、倉庫内を移動して荷物を棚まで運ぶロボットの動かし方を、強化学習で学習させようとしている。この課題をマルコフ決定過程として定式化するときの説明として、最も不適切なものを1つ選べ。
1つ選んでください
正解と解説を見る
解説
正解C
ポイント
マルコフ決定過程は、次の状態が現在の状態と行動だけで決まるマルコフ性を仮定します。必要な過去の情報は状態に含めます。
選択肢ごとの解説
- A
適切
状態は行動を決めるのに必要な環境の情報、行動はエージェントが選べる操作です。位置や荷物の有無は、次にどこへ向かうべきかを判断する手がかりになります。
- B
適切
報酬は、達成してほしい目標を数値で伝える手段です。1歩ごとに小さな負の報酬を与えると、遠回りするほど報酬の合計が減るため、短い経路を選ぶ方策が学ばれやすくなります。
- C
不適切 ◯ 正解
マルコフ決定過程は、次の状態と報酬の確率が現在の状態と行動だけで決まるというマルコフ性を仮定します。過去の情報が必要なら、それを状態に含めて表します。
- D
適切
強化学習では、教師あり学習のように行動ごとの正解を与えません。試行の中で受け取る報酬を手がかりに、累積報酬の期待値が大きくなる方策を探します。
試験での狙われ方
状態、行動、報酬、方策といったマルコフ決定過程の要素を具体的な場面に当てはめさせる形や、マルコフ性の意味を問う形が典型です。
関連用語
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目9 強化学習） 2026年10月30日閲覧
- Sutton and Barto, Reinforcement Learning: An Introduction, 2nd ed. (2018), Ch.3 Finite Markov Decision Processes 2026年10月30日閲覧