相関プロキシによる報酬ハッキングを緩和するための堅牢最適化

概要: 不完全な報酬信号が存在する状況下で堅牢な強化学習（RL）エージェントを設計することは、依然として中核的な課題である。実際には、エージェントはしばしば真の目的を近似するだけの代理報酬で訓練されるため、意図しない、または搾取的（エクスプロイト的）な振る舞いによって高い代理報酬が生じる「報酬ハッキング」に対して脆弱になる。近年の研究では、代理報酬と真の報酬の間の r 相関によってこの問題を形式化しているが、占有率正則化付きポリシー最適化（ORPO）のような既存手法は固定された代理報酬に対して最適化するだけで、相関をもつより広いクラスの代理報酬に対する強い保証を提供しない。本研究では、報酬ハッキングを、すべての r 相関をもつ代理報酬の空間上における堅牢なポリシー最適化問題として定式化する。導出したのは、追跡可能な（取り扱い可能な）最大-最小（max-min）表現であり、エージェントは相関制約に整合する最悪の場合の代理報酬のもとで性能を最大化する。さらに、報酬が既知の特徴量に対する線形関数である場合には、このアプローチをその事前知識を組み込むように適応できることを示す。これにより、改善されたポリシーと解釈可能な最悪ケースの報酬の両方が得られる。複数の環境にわたる実験では、提案手法のアルゴリズムが最悪ケースのリターンにおいて一貫して ORPO を上回り、代理報酬と真の報酬の相関の異なるレベルにわたって堅牢性と安定性が向上することを示す。これらの結果は、報酬設計が本質的に不確実である状況において、本手法が堅牢性と透明性の両方を提供することを示している。コードは https://github.com/ZixuanLiu4869/reward_hacking で公開されている。