注意安定性境界の彼方へ:エージェント型自己合成推論プロトコル

arXiv cs.AI / 2026/4/28

📰 ニュースModels & Research

要点

  • 本論文は、デコーダのみの自己回帰型トランスフォーマーにおける「Attention Latch(注意ラッチ)」という体系的な失敗モードを特定しており、過去の文脈の累積的な確率的重みが途中の更新を上回ってしまうため、エージェントが古い制約に固定され続けると述べています。
  • この現象は「Information Over-squashing(情報の過度な圧縮)」の振る舞いとして説明されており、高レベルの計画(Architect)とターンごとの手続き実行(Executive)を離散的に分離するメタ認知フレームワーク「Self-Synthesizing Reasoning Protocols(SSRP)」を提案しています。
  • MultiWOZ 2.2 を用いた9Kの軌跡での実験により、SSRPがステートレスなVanilla ReActベースラインを大きく上回り、「Attention Stability Boundary(注意安定性境界)」を特定した結果、ベースラインの成功率が崩壊することを示しています。
  • 著者らは新しい評価指標「Aggregate Pivot Accuracy(APA)」を検証し、リトリーバルに基づく試行から複雑な多事実合成タスクまで複数の実験ティアでSSRPを評価しています。
  • Gemini 3.1 Pro、Claude Sonnet 4.6、DeepSeek V3.2 といった複数モデルでSSRPは大きな耐性向上を示しつつ、監査により「Grounding Paradox(グラウンディング・パラドックス)」、すなわち特定の汚染状況下で高安定モデルが幻覚を拒否してしまう問題も明らかにしています。

要旨: LLMエージェントが自律的なデジタル同僚へ移行するにつれ、非線形な多ターン会話において決定論的な目標指向性を維持することが、アーキテクチャ上のボトルネックとして浮上しました。私たちは、デコーダのみの自己回帰型Transformerにおける「Attention Latch(注意ラッチ)」と呼ぶ体系的な失敗モードを特定し、形式化します。この現象は「Information Over-squashing(情報の過剰圧縮)」の行動上の現れであり、過去の文脈に対する累積的な確率的重みが、タスク途中の更新を上書きしてしまうときに起こります。その結果、明示的な矛盾する指示があるにもかかわらず、エージェントが時代遅れの制約に固定されたままとなります。私たちは、自己合成推論プロトコル(Self-Synthesizing Reasoning Protocols; SSRP)を提案します。SSRPは、ハイレベルなアーキテクチャ計画(Architect)と、ターンごとの手続き実行(Executive)との間に離散的な分離を実装するメタ認知的枠組みです。私たちは、MultiWOZ 2.2データセットを用いて9Kの軌跡(トラジェクトリ)に対してSSRPを評価し、さらに新しい指標であるAggregate Pivot Accuracy(APA)を用います。APAは、そのスコアを「U字型の『真ん中で失われる(Lost in the Middle)』」曲線に対応づけることで検証します。実験は3つの段階で提示します:浅い想起ベースのリトリーバル・パイロット、ハイエントロピーSOP(SOP)、そして意味が乗っ取られた3ホップのMulti-Fact Synthesisタスクです。結果から、Attention Stability Boundary(注意安定境界)を経験的に特定します。ここでは、GPT 5.4におけるステートレスなVanilla ReActのベースラインは成功率0.1%へ崩壊する一方で、SSRPは715Xの耐性向上(Resilience Lift)を達成します。Gemini 3.1 Pro、Claude Sonnet 4.6、DeepSeek V3.2において、統計的に有意な改善を示します。監査により、再帰的なリフレクションのベースライン(100%成功)を用いて注意の逸脱を証明することで、SSRPが必要であることが確認されます。さらに、等距離ストレステスト(90%精度)によってラッチを位置バイアスから切り離すことも確認されます。加えて、情報ボトルネック原理と粒度アブレーションによりSSRPを形式化します。手続き整合性監査(98.8%遵守)は、高安定性モデルがリトリーバルと推論の汚染のもとで幻覚を拒否することで失敗する「Grounding Paradox(グラウンディングのパラドックス)」を明らかにします。