深層強化学習（シラバス技術29）

学習目標

強化学習とディープラーニングを組み合わせた深層強化学習について、DQNとその改良手法、学習を並列化・分散化する手法、ゲームでの成果を理解し、ロボット制御や大規模言語モデルの調整など実世界で使うときの課題と対策を説明できるようにします。

要点

DQNと改良手法

深層強化学習は、強化学習にディープラーニングを組み合わせた手法です。DeepMindのDQNは、Q学習で求める行動価値（Q値）をCNNで近似し、Atariのゲーム画面の画素から直接プレイを学びました。過去の経験をためて使い回す経験再生と、目標値を安定させるターゲットネットワークが学習を支えています。

手法	改良点
ダブルDQN	行動の選択と評価を別のネットワークで行い、Q値の過大評価を抑える
デュエリングネットワーク	Q値を、状態の価値と、行動ごとの有利さに分けて推定する
ノイジーネットワーク	重みに学習できるノイズを加え、ε-greedy方策に代わる探索を行う
Rainbow	上の3つを含む6つの改良をまとめて組み込む

学習の並列化と分散化

A3C：複数のエージェントが、それぞれ環境のコピーで並列に行動し、非同期に共通のネットワークを更新するActor-Criticの手法です。
APE-X：多数のアクターが集めた経験を共有のメモリにため、学習役は重要度の高い経験を優先して学習します。
Agent57：2020年にDeepMindが発表しました。分散型の学習に、探索の度合いを自動で切り替える仕組みを加え、Atariの57種類のゲームすべてで人間の基準スコアを上回りました。

行動が連続値の課題

DQNは、ボタンの選択のように行動が有限個の課題向けです。ロボットの関節の角度のような連続値制御では、行動を出す方策を直接学ぶ手法が使われます。PPOは、方策を一度に大きく変えないように更新幅を制限し、学習を安定させた手法です。

ゲームでの成果とマルチエージェント

マルチエージェント強化学習(MARL)は、複数のエージェントが同じ環境で協力や競争をしながら学ぶ設定です。

アルファスター(AlphaStar)：DeepMindが開発し、StarCraft IIで最上位のグランドマスターの水準に達しました（2019年）。
OpenAI Five：5対5で戦うDota 2で、2019年に世界王者のチームに勝ちました。PPOを大規模に使っています。

実世界で使うための課題と対策

課題	対策
実機で試行を重ねるのは危険で時間もかかる	sim2real：シミュレータで学習してから実機に移す
シミュレータと現実の差	ドメインランダマイゼーション：照明や色、摩擦などの条件をランダムに変えて学習する
ゼロから学ぶと効率が悪い	残差強化学習：既存の制御の出力に、強化学習で学んだ補正を足す
新たな試行ができない	オフライン強化学習：集めておいたデータだけで学習する
画像などの観測は次元が高い	状態表現学習：観測から低次元の状態の表現を学ぶ
報酬がまれで学習が進まない	報酬成形：目標に近づいたら報酬を与えるなど、報酬を設計し直す

RLHFは、人間が応答を比べた評価から報酬モデルを作り、PPOなどの強化学習で、大規模言語モデルの出力を人間の好みに近づける手法です。

G検定で問われる深さ

各手法がDQNの何を改良したか、どのゲームで成果を上げたかを一言で言えること、実世界で使うときの課題と対策の組み合わせを選べることが中心です。Q値の更新式、方策勾配の導出、各手法のハイパーパラメータまでは不要です。

つまずきやすい点

ダブルDQNはQ値の過大評価を抑える手法、ノイジーネットワークは探索を促す手法、デュエリングネットワークは状態の価値と行動ごとの有利さに分けて推定する手法で、改良の目的がそれぞれ違う点
A3CやAPE-Xは同じ課題を多数の環境のコピーで並列に学習する手法であり、複数のエージェントが同じ環境で協力や競争をするマルチエージェント強化学習とは別物である点
DQNは行動の選択肢が有限個の課題向けで、ロボットの関節の角度のように行動が連続値になる課題には、方策を直接学ぶPPOなどの手法が使われる点
オフライン強化学習は、環境と新たにやり取りせず、集めておいたデータだけで学習する点。シミュレータで学習してから実機に移すsim2realとは異なる

シラバスのキーワード

A3C、Agent57、APE-X、DQN、OpenAI Five、PPO、Rainbow、RLHF、sim2real、アルファスター(AlphaStar)、オフライン強化学習、残差強化学習、状態表現学習、ダブルDQN、デュエリングネットワーク、ドメインランダマイゼーション、ノイジーネットワーク、報酬成形、マルチエージェント強化学習(MARL)、連続値制御

練習問題

ほかの8問

混同しやすい用語

教師あり学習・教師なし学習と強化学習の違い

この項目の関連用語

エージェント、強化学習

AIで作成人による確認：未誤りを報告

出典と作成について

作成：ウカトレ編集部（AIで作成し、別のAIが一次資料と照合。手順は編集方針）

最終更新日：2026年10月30日最終確認日：2026年10月30日

対応シラバス：シラバス第1.4版技術29

出典

G検定試験出題範囲（シラバス2024）第1.4版（技術分野項目29 深層強化学習）2026年10月30日閲覧
Volodymyr Mnih et al., Human-level control through deep reinforcement learning, Nature 518, 529–533 (2015)2026年10月30日閲覧
Hado van Hasselt, Arthur Guez, David Silver, Deep Reinforcement Learning with Double Q-learning (2015)2026年10月30日閲覧
Ziyu Wang et al., Dueling Network Architectures for Deep Reinforcement Learning (2015)2026年10月30日閲覧
Meire Fortunato et al., Noisy Networks for Exploration (2017)2026年10月30日閲覧
Matteo Hessel et al., Rainbow: Combining Improvements in Deep Reinforcement Learning (2017)2026年10月30日閲覧
Volodymyr Mnih et al., Asynchronous Methods for Deep Reinforcement Learning (2016)2026年10月30日閲覧
Dan Horgan et al., Distributed Prioritized Experience Replay (2018)2026年10月30日閲覧
Adrià Puigdomènech Badia et al., Agent57: Outperforming the Atari Human Benchmark (2020)2026年10月30日閲覧
John Schulman et al., Proximal Policy Optimization Algorithms (2017)2026年10月30日閲覧
Oriol Vinyals et al., Grandmaster level in StarCraft II using multi-agent reinforcement learning, Nature 575, 350–354 (2019)2026年10月30日閲覧
OpenAI et al., Dota 2 with Large Scale Deep Reinforcement Learning (2019)2026年10月30日閲覧
Josh Tobin et al., Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World (2017)2026年10月30日閲覧
Tobias Johannink et al., Residual Reinforcement Learning for Robot Control (2018)2026年10月30日閲覧
Sergey Levine, Aviral Kumar, George Tucker, Justin Fu, Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems (2020)2026年10月30日閲覧
Timothée Lesort et al., State Representation Learning for Control: An Overview (2018)2026年10月30日閲覧
Long Ouyang et al., Training language models to follow instructions with human feedback (2022)2026年10月30日閲覧

改訂履歴

ディープラーニングの応用例の中項目