SD2AIL：拡散モデルによる合成デモからの敵対的模倣学習

Abstract

敵対的模倣学習（Adversarial Imitation Learning: AIL）は、模倣学習において支配的な枠組みであり、専門家のデモンストレーションから報酬を推定して方策最適化を導きます。より多くの専門家デモンストレーションを提供できれば、一般に性能の向上とより高い安定性が得られますが、そうしたデモンストレーションの収集は、特定の状況では困難になります。データ生成における拡散モデルの成功に着想を得て、拡散モデルを用いて合成デモンストレーションを利用するSD2AILを提案します。まず、判別器において拡散モデルを用いて、専門家デモンストレーションを補強する疑似専門家データとして合成デモンストレーションを生成します。さらに、大量に存在する（疑似）専門家デモンストレーションのプールから、最も価値の高いデモンストレーションを選択的に再生するために、優先度付き専門家デモンストレーション再生戦略（PEDR: Prioritized Expert Demonstration Replay）を導入します。シミュレーション課題に関する実験結果により、本手法の有効性と頑健性が示されます。特に、Hopper課題において本手法は平均リターン3441を達成し、最先端手法を89上回ります。本コードは https://github.com/positron-lpc/SD2AIL で公開予定です。