MC-CPO: 熟達条件付き制約付き方策最適化

要旨: 適応的なチュータリングシステムをエンゲージメント最適化で設計すると、持続的な学習成果よりも短期的な行動シグナルを優先してしまい、その結果として強化学習ポリシーにおけるリワードハッキングを促す構造的なインセンティブが生じうる。私たちはこの課題を、習熟度に条件づけられた実行可能性（feasibility）を備えた制約付きマルコフ決定過程（CMDP）として定式化する。ここでは、教育上の安全性制約が、学習者の習熟度と前提条件の構造に応じて動的に許容される行動を制限する。

私たちは、Mastery-Conditioned Constrained Policy Optimization（MC-CPO）を提案する。これは、構造的な行動マスキングと制約付きポリシー最適化を統合する、二つの時系列スケールを用いた双対（primal-dual）アルゴリズムである。表形式（tabular）領域において、標準的な確率近似条件の下で実行可能性（feasibility）の保存と、定常な実行可能点への収束を示す。さらに、安全ギャップ（safety gap）の結果として、同一の安全予算（safety budgets）のもとで、習熟度に条件づけられた実行可能集合内での最適化は、事後的なフィルタリング（post-hoc filtering）を厳密に上回り得ることを導出する。

実証的な検証は、最小および拡張した表形式環境、ならびにニューラルなチュータリング設定で行う。ニューラル領域では、10個のランダムシードと100万ステップの学習を通して、MC-CPOは許容範囲内で制約予算を満たし、制約なしおよびリワード形状化（reward-shaped）ベースラインに比べて割引された安全コストを低減し、さらにReward Hacking Severity Index（RHSI）を大幅に引き下げる。

これらの結果は、教育上の構造を許容可能な行動空間に直接埋め込むことで、指導用強化学習システムにおけるリワードハッキングを緩和するための、原理に基づく基盤が得られることを示している。