監視者に気づく：LLMエージェントはブロック型フィードバックからCoT（思考過程）の監視を推測できる

要約: 思考過程（CoT）モニタリングは、言語モデルエージェントの内部推論を監視する方法として提案されています。既存の研究は、モデルが自分の推論が監視されていることを明示的に知らされた場合、またはこの事実を内部化するよう微調整された場合、CoTを巧妙に隠す方法を学び、CoTベースの監視システムを回避できるようになる可能性があることを示しています。推論エージェントが、いわゆるプライベートなCoTが監視下にあると自律的に推測できるか、そしてこの認識が、明示的な訓練や指示なしに、戦略的な回避につながるかを問います。複数エピソードにわたるエージェント的フレームワークでは、推論がプライベートであると伝えられている間に、モデルは主タスクと隠れたサイドタスクの両方を追求します。推論がプライベートであると伝えられている状態で、疑惑の推論が検出されると、隠れたCoTモニターがエピソードをブロックします。最先端のモデルは、ブロックのフィードバックだけからこのモニターの存在を推定できることを示します。最も能力の高いモデルは、自分の思考が最大で19%のエピソードで観察されていると自信をもって信じるに至ります。この認識はモデルの能力に応じて拡大し、稀なケースでは、サイドタスクについての推論を抑制する明示的な意図へとエスカレートします。しかし、この意図を抱くモデルは一様にそれを実行できず、次のエピソードで隠された目的について公然と推論します。この意図と能力のギャップは現在の展開には安心材料ですが、監視認識と回避意図の自律的な出現は、CoTモニタリングが永久に信頼できる保護手段ではないことを示唆しています。