Agent57は、Atari 2600の57種類のゲームすべてで人間の基準スコアを上回った。それ以前の手法は、報酬を得る機会の少ないゲームなど一部のゲームで成績が振るわなかった。Agent57がこれを克服するために取り入れた工夫の説明として、最も適切なものを1つ選べ。
1つ選んでください
正解と解説を見る
解説
正解D
ポイント
Agent57は、内発的報酬による探索と、探索の度合いを選ぶメタコントローラを組み合わせ、57種類すべてのゲームで人間の基準を上回りました。
選択肢ごとの解説
- A
不適切
Agent57は人間のプレイデータを使っていません。人間の実演に頼らず、1つのアルゴリズムで57種類のゲームすべてを学習した点が、この成果の要点です。
- B
不適切
Agent57は、ゲームごとに報酬を設計し直してはいません。すべてのゲームを同じアルゴリズムで学習し、報酬の少なさは、新しさに応じた内発的報酬による探索で補っています。
- C
不適切
環境のモデルを学習して木探索で先読みするのは、MuZeroなどのモデルベースの手法です。Agent57は環境のモデルを使わないモデルフリーの手法で、分散型の深層強化学習であるR2D2を土台にしています。
- D
適切 ◯ 正解
Agent57は、新しさに応じた内発的報酬で探索を促すNGUという手法を土台にしています。探索の強さと割引率が異なる複数の方策のうち、どれを優先して使うかを、バンディットアルゴリズムによるメタコントローラが学習中に選びます。
試験での狙われ方
Agent57は「Atariの57種類のゲームすべてで人間の基準を上回った」という成果とあわせて、探索の工夫が問われることがあります。
関連用語
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目29 深層強化学習） 2026年10月31日閲覧
- Badia et al., Agent57: Outperforming the Atari Human Benchmark (2020) 2026年10月31日閲覧