ベルマン完全性なしのFitted Q評価：定常重み付けによる手法

Abstract

Fitted Q-evaluation（FQE）は強化学習におけるオフポリシー評価のための基礎的手法ですが、既存の理論は通常、関数クラスのベルマン完全性に依拠しており、この条件は実際の場面でしばしば破られます。これは本質的な規範の不一致によるものです。すなわち、ベルマン作用素は、ターゲット方策の定常分布が誘導するL^2ノルムにおいてγ収縮的であるのに対し、標準的なFQEは行動分布のもとでベルマン回帰を当てはめます。この不一致を解消するために、時間差学習におけるエンファシック・ウェイティングに着想を得て、定常密度比の推定値に基づいて、各ベルマン回帰ステップを再重み付けします。これにより、更新がターゲットの定常分布のもとで行われたかのように振る舞い、ベルマン完全性がなくても収縮性を回復しつつ、回帰に基づく評価の単純さを維持します。Bairdの古典的反例を含む示唆的な実験により、定常重み付けがオフポリシーサンプリング下でFQEを安定化できることが示されます。