sim2realとは

sim2realは、simulation to realityを縮めた言葉です。シミュレータで学んだ成果を、現実の世界で使えるようにすることを指します。深層強化学習をロボットに応用するときの中心的な課題の1つです。

なぜシミュレータで学ぶのか

強化学習は、膨大な回数の試行錯誤で方策を学びます。実機で同じことをすると、長い時間がかかります。機械が壊れたり、周りを傷つけたりするおそれもあります。シミュレータなら、多数の環境を並列に、実時間より速く動かせます。

リアリティギャップ

ただし、シミュレータは現実を完全には再現できません。摩擦や物体の重さ、モーターの反応の遅れ、カメラ画像の照明や色合いなどが少しずつ異なります。この差をリアリティギャップと呼びます。シミュレータだけで最適化した方策は、この差のために実機で失敗しがちです。

主な対策

• シミュレータを現実に近づける：実機のモーターの特性や遅れを測り、シミュレータに反映します（システム同定）。
• ドメインランダマイゼーション：照明や摩擦などの条件をランダムに変えて学び、現実もその変化の1つとして扱えるようにします。
• ドメイン適応：シミュレータの画像を、GANなどで実際のカメラ画像に近い見た目に変換します。
• 実機での調整：少量の実機データで追加学習したり、既存の制御と組み合わせたりします。

実際には、これらを組み合わせます。Tanらは2018年に、モーターの特性と遅れを再現し、物理的な条件のランダム化も加えて、四足歩行ロボットにトロット（速歩）とギャロップ（襲歩）を学ばせました。OpenAIは同じ年、シミュレータだけで学習した方策で、5本指のロボットハンドに物体の向きを変えさせました。

オフライン強化学習との違い

オフライン強化学習は、過去に記録したデータだけで学び、新たな試行をしません。sim2realは、シミュレータの中で試行を重ねる点が異なります。