構造的統合から得られる自己モニタリングの利点：連続時間・マルチタイムスケール・エージェントにおけるメタ認知からの教訓

概要: 自己監視能力――メタ認知、自分自身の予測、主観的な経過時間――は、強化学習エージェントへの有用な追加としてしばしば提案されます。しかし本当に役立つのでしょうか？本研究では、この問いを、複雑さの異なる捕食者-被食者のサバイバル環境で動作する連続時間の多時間尺度エージェントにおいて調査します。そこには、2Dの部分観測バリアントも含まれます。まず、3つの自己監視モジュールが、多時間尺度の皮質階層に対する補助損失の追加（auxiliary-loss add-ons）として実装されていても、20のランダムシード、標準および非定常バリアントを含む1D・2Dの捕食者-被食者環境、ならびにトレーニング長が最大50,000ステップまでの範囲で、統計的に有意なベネフィットを提供しないことを示します。失敗の原因を診断すると、これらのモジュールはほぼ一定の出力へと崩壊しており（信頼度の標準偏差 < 0.006、注意配分の標準偏差 < 0.011）、主観的経過時間の仕組みは割引因子を0.03%未満しか変化させないことが分かります。ポリシー感度分析により、この設計ではエージェントの意思決定がモジュール出力の影響を受けないことが確認されます。次に、モジュール出力を構造的に統合する――信頼度で探索をゲートし、驚きでワークスペースへのブロードキャストを引き起こし、自己モデル予測をポリシー入力として用いる――ことで、追加アプローチに比べて中程度から大きめの改善が非定常環境で得られることを示します（Cohen's d = 0.62, p = 0.06, paired）。成分ごとのアブレーションにより、この改善の大部分はTSMからポリシーへの経路が担っていることが明らかになります。ただし、構造的統合は、自己監視がないベースラインを有意に上回りません（d = 0.15, p = 0.67）。また、モジュールのないパラメータ整合（パラメータ・マッチド）制御でも同程度の性能を示すため、効果は自己監視の内容そのものというより、無視されたモジュールによるトレンド・レベルの損害からの回復にある可能性があります。建築上の含意として、自己監視は意思決定の経路の隣ではなく、意思決定の経路そのものに組み込まれるべきだ、という点が示唆されます。