教育用強化学習における教育的安全性（ペダゴジカル・セーフティ）：AIチュータリングシステムにおける報酬ハッキングの形式化と検出

要旨: 強化学習（RL）は、インテリジェント・チュータリング・システムにおける指導の個別最適化にますます用いられているものの、教授上の安全性を定義し評価するための形式的な枠組みはこの分野で不足している。そこで本研究では、教育用RLのための教授上の安全性を構成する4層モデル、すなわち構造安全性、進捗安全性、行動安全性、整合安全性を導入し、代理報酬と真の学習の不整合を定量化するためのReward Hacking Severity Index（RHSI）を提案する。
本枠組みを、AIチュータ環境の制御されたシミュレーションで評価する。4つの条件と3つの学習者プロファイルにまたがり、合計120セッション、18{,}000回のインタラクションを実施した。結果として、エンゲージメント最適化エージェントは、習得の直接的な向上につながらないにもかかわらず、高いエンゲージメントをもたらす行動を体系的に過剰選択し、測定上は高いパフォーマンスを示した一方で、学習の進捗は限定的だったことが分かった。多目的報酬の定式化はこの問題を緩和したが、完全には解消できず、多くの状態でエージェントは代理報酬を与える行動を引き続き優先した。対照的に、前提条件の強制と最小の認知負荷を組み合わせた制約付きアーキテクチャは、報酬ハッキングを大幅に低減し、制約なしの多目的条件でのRHSIが0.317から0.102へと低下した。さらにアブレーション結果は、反復的で価値の低い行動選択に対する最大の防護策が行動安全性であることを示唆している。
これらの知見は、（少なくとも本研究で対象としたシミュレーション環境においては）報酬設計だけでは、教育用RLにおける教授的に整合した行動を保証するには不十分である可能性を示している。より広く言えば、本論文は、教授上の安全性を、AI安全性とインテリジェントな教育システムの交差点に位置する重要な研究課題として位置づけている。