Rainbowとは

Rainbowは、2017年にDeepMindのMatteo Hesselらが発表した深層強化学習の手法です。DQNの登場後、その弱点を補う改良が次々に提案されました。Rainbowは、そのうち異なる課題に取り組む6つを選び、1つのエージェントにまとめたものです。

組み合わせた6つの改良

• ダブルDQN：行動の選択と評価を分け、Q値の過大評価を抑えます。
• 優先度付き経験再生：予測とのずれが大きく、学ぶことの多い経験を優先して再生します。
• デュエリングネットワーク：Q値を状態価値とアドバンテージに分けて推定します。
• マルチステップ学習：1ステップ先だけでなく、数ステップ先までの実際の報酬を使って目標値を作ります。
• 分布型強化学習：将来の報酬を1つの期待値ではなく、確率分布として学習します。
• ノイジーネットワーク：重みに学習可能なノイズを加え、ε-greedy方策に代わる探索を行います。

成果

Atari 2600の57種類のゲームで評価し、学習の効率と最終的な成績の両面で、それまでの手法を上回りました。

どの改良が効いたのか

論文では、要素を1つずつ取り除いて性能を比べる分析（アブレーションスタディ）も行いました。その結果、優先度付き経験再生とマルチステップ学習を除いたときの性能低下が特に大きく、分布型強化学習がそれに続きました。一方、デュエリングネットワークとダブルDQNを除いたときの差は、全体としては小さいものでした。それでも、6つの改良はおおむね互いを補い合い、組み合わせることで単独より高い性能が得られることが示されました。

その後

DeepMindは2020年に、57種類すべてのゲームで人間の基準を上回るAgent57を発表しています。Rainbowは、DQNの系譜で改良を統合した節目の手法として位置づけられます。

覚え方

「6つの改良をまとめた虹（Rainbow）」と覚えます。