LoopGuard：動的KVキャッシュ介入による自己強化的アテンションループの破壊

要旨: 長い文脈における生成を対象とした体系的な実験を通じて、デコーディングが持続的な反復ループへと崩壊してしまう、損傷的な失敗モードを観察します。私たちは、この劣化が、崩壊した注意（attention）パターンによって引き起こされることを見出しました。具体的には、一部のヘッドが履歴の狭い末尾（narrow suffix）へと固定化し、さらに推論時のKVキャッシュ再利用によって安定化されます。重要なのは、多くの既存のKVキャッシュ方策が注意に基づく重要度に依存しているため、この崩壊は反復トークンに対して不当に高いスコアを与え得るという点です。その結果、キャッシュ管理が意図せずに反復を増幅してしまうことがあります。この現象を、制御可能かつ再現可能な形で研究するために、私たちはLoopBenchを導入します。LoopBenchは、明示的にループを誘発する条件と、反復の深刻度および生成の不安定性を、下流タスクのスコアを超えて定量化する、ループ指向の指標を備えたベンチマークです。これらの洞察に基づき、軽量なプラグイン型のKVキャッシュガードであるLoopGuardを提案します。LoopGuardは、ループの発生をオンラインで検知し、固定されたキャッシュ予算のもとで反復的な末尾スパンを枝刈りすることで、フィードバックの循環を断ちます。LoopBenchに対する実験では、LoopGuardがループ発生率を90パーセンテージポイント以上低減し、出力の多様性を回復させるとともに、トークンの無駄を削減することが示されました。