制御可能な範囲を見つける: 強化学習における介入境界発見

概要: 観測統計だけでは、行動と相関する次元と、行動が原因となる次元を信頼性高く識別することはできない。混同された妨害因子がある状況で、関連する状態次元を選択することは因果的同定の問題である。これを、エージェントの因果影響の球（Causal Sphere of Influence）を発見する問題として形式化し、介入境界探索 IBD を提案する。IBD はパールの do 演算子をエージェント自身の行動に適用し、二標本検定を用いて観測次元に対する解釈可能な二値マスクを生成する。IBD は学習済みモデルを必要とせず、前処理ステップとして任意の下流 RL アルゴリズムと組み合わせて使用できる。最大100の妨害次元を含む12の連続制御設定にわたり、以下が分かった: (1) 観測特徴選択は、混同した妨害因子を積極的に選択しつつ、真の因果次元を除外することができる; (2) ベンチマークにおいて、妨害因子が関連特徴より概ね3:1の比で多くなると、全状態 RL は急激に性能が低下する; そして (3) IBD は、試験したすべての妨害レベルでオラクルの性能をほぼ追従し、SAC および TD3 の双方へ利得が転移する。