OPRIDE：データセット内探索によるオフライン嗜好（パーキュフレンス）ベース強化学習

概要: 嗜好（プリファレンス）ベースの強化学習（PbRL）は、洗練された報酬設計を回避し、人間の意図とよりよく整合させるのに役立ち、さまざまな実世界のアプリケーションにおいて大きな期待が持たれています。しかし、嗜好に関する人間のフィードバックを得ることは費用も時間もかかり、これがPbRLに対する強い障壁となっています。本研究では、オフラインPbRLにおけるクエリ効率の低さという問題に取り組み、その主な理由として2点、すなわち非効率な探索と、学習した報酬関数の過剰最適化を特定します。これらの課題に対し、新しいアルゴリズム
\textbf{O}ffline \textbf{P}b\textbf{R}L via \textbf{I}n-\textbf{D}ataset \textbf{E}xploration（OPRIDE） を提案し、オフラインPbRLのクエリ効率を高めることを目的とします。OPRIDE は2つの重要な特徴から成ります。1つは、クエリの情報量を最大化するための原理に基づいた探索戦略であり、もう1つは、学習した報酬関数の過剰最適化を緩和することを狙いとした割引スケジューリング機構です。実験的評価を通じて、OPRIDE が先行手法を大幅に上回り、特筆すべき少ないクエリ数で高い性能を達成することを示します。さらに、本アルゴリズムの効率に関する理論的保証も提示します。さまざまな移動（ロコモーション）、操作（マニピュレーション）、ナビゲーションのタスクにまたがる実験結果は、提案手法の有効性と汎用性を裏づけています。