Rainbow-DemoRL：デモンストレーション拡張強化学習における改善の組み合わせ

Abstract

実データとして収集されたデモンストレーションを活用することで、オンライン強化学習（RL）のサンプル効率を改善するためのいくつかのアプローチが提案されている。実データは、そのまま遷移として用いてRLの目的関数を最適化することもできるし、あるいはまず実データからオフラインの方策・価値関数を学習し、それをオンラインの微調整に用いる、または参照となる行動を提供するために用いることもできる。これらの戦略はいずれも説得力のある結果を示しているが、サンプル効率に最も大きな影響を与えるのはどの方法なのか、これらのアプローチを組み合わせることは可能なのか、さらに累積的な利点があるのかは不明である。そこで本研究では、既存のデモンストレーション拡張RLアプローチを3つのカテゴリに分類し、それらの強み・弱み・組み合わせについて大規模な実証研究を行うことで、各戦略の寄与を切り分け、サンプル効率の高いオンラインRLに対して有効なハイブリッドな組み合わせを特定する。分析の結果、オフラインデータを直接再利用し、行動模倣（behavior cloning）で初期化することは、オンラインのサンプル効率を改善するうえで、より複雑なオフラインRLの事前学習手法よりも一貫して優れていることが明らかになった。