認識論的ロバストなオフライン強化学習

要旨: オフライン強化学習は、追加の環境相互作用なしに固定されたデータセットから方策を学習する。 この設定における重要な課題は、データのカバレッジが限られている、または偏っていることに起因する認識論的不確実性であり、特に行動方策が特定の行動を体系的に避ける場合に顕著に生じる。 その結果、不正確な価値推定や信頼性の低い汎化につながり得る。 SAC-N のようなアンサンブルに基づく手法は、アンサンブルの最小値を用いて Q 値を保守的に推定することでこの問題を緩和するが、大規模なアンサンブルが必要であることが多く、認識論的不確実性とアレアトリック的不確実性をしばしば混同してしまう。 これらの制限に対処するために、離散的なアンサンブルを Q 値に対するコンパクトな不確実性集合に置き換える、統一的で汎用性のある枠組みを提案する。 さらに、Epinet ベースのモデルを導入し、アンサンブルに依存せずに頑健なベルマン目的の下で累積報酬を最適化するために、不確実性集合を直接的に形成する。 また、リスクに敏感な行動方策のもとでオフライン RL アルゴリズムを評価するためのベンチマークを導入し、提案手法が、離散状態の領域および連続状態の領域の両方において、アンサンブルに基づくベースラインよりも優れた頑健性と汎化を達成することを示す。