認知コンパニオン：LLMエージェントにおける推論の劣化を検出し回復するための軽量な並列モニタリング・アーキテクチャ

要旨: 多段タスクにおける大規模言語モデル（LLM）エージェントは、推論の劣化、ループ、ドリフト、停止状態（stuck states）に悩まされ、難しいタスクでは最大30%の割合で発生します。現在の解決策には、強制的なステップ上限（突然の打ち切り）や、LLMをジャッジとして用いた監視（ステップごとのオーバーヘッドが10〜15%）があります。本論文では、Cognitive Companion（認知コンパニオン）という並列監視アーキテクチャを導入し、それを2つの実装で示します。1つはLLMベースのCompanion、もう1つは新規のゼロ・オーバーヘッドのProbeベースのCompanionです。Gemma 4 E4Bを中心とした3バッチの実現可能性（feasibility）調査の結果を報告し、加えてQwen 2.5 1.5BおよびLlama 3.2 1Bに対する探索的な小規模モデル分析も行います。実験の結果、LLMベースのCompanionは、ループが起きやすいタスクでの繰り返しを52〜62%低減し、オーバーヘッドは約11%でした。層28からの隠れ状態（hidden states）で訓練したProbeベースのCompanionは、測定された推論オーバーヘッドが0のとき、平均効果量が+0.471であることを示しました。最も強力なプローブ（probe）の結果では、小規模な代理ラベル付きデータセットにおいて、クロスバリデーション済みAUROC 0.840を達成しました。重要な経験的発見は、コンパニオンの有益性がタスクの種類に依存するように見える点です。コンパニオンは、ループが起きやすいタスクや、開放的（open-ended）なタスクで最も役に立つ一方で、より構造化されたタスクでは効果が中立、あるいは負になります。小規模モデルの実験からは、想定されるスケール境界の可能性も示唆されます。すなわち、介入（interventions）が発火（fired）した場合でも、1B〜1.5Bモデルでは測定された品質の代理指標（quality proxy）をコンパニオンは改善できませんでした。全体として、本論文は決定的な検証（definitive validation）というより、実現可能性調査として読むべきです。本結果は、サブトークン監視（sub-token monitoring）が有用である可能性に関する励みになる証拠を提供し、タスク種別に対する感度を実践的な設計上の制約として特定し、今後の研究として選択的なコンパニオン活性化（selective companion activation）を有望な方向性として動機づけます。