隠れ状態がドリフトする問題：KVキャッシュは長距離の推測デコーディングを救えるか？

概要: 推測的デコードはLLM推論を加速しますが、SOTAの隠れ状態ベースのドラフタは長距離の減衰に悩まされます。つまり、推測ステップが増えるにつれてドラフト精度が低下します。既存研究ではこの減衰を学習・推論の不一致に起因するとし、対策として推論時学習（TTT）を提案していますが、我々はTTTで訓練したドラフタにおいても長距離の減衰が持続することを観察します。そこで我々は、文脈情報の保持という観点から長距離の減衰を再検討します。隠れ状態の再利用において、目標となる隠れ状態はバイアス付きの文脈圧縮として働く、と我々は主張します。すなわち、それは現在位置の注意クエリに従って過去のトークン情報を集約し、直後の次トークン予測に最適化されたコンパクトな表現を生成します。この圧縮は、現在のクエリにはあまり関連しないが、後続の推測ステップでは重要となる情報を抑制し得ます。一方で、目標モデルのKVキャッシュは明示的な文脈として機能し、トークンごとのKV表現の全集合を保持します。そこで我々は、KV-Reuse仮説を提起します。すなわち、ドラフトモデルが目標のKVキャッシュを再利用できるようにすることで、長い時間幅にわたるドラフティングのためのより豊富な信号を提供できる、というものです。この仮説を検証するために、KVShotという診断フレームワークを導入します。ここでは、3つの再利用パラダイム（隠れ状態のみ、KVのみ、ハイブリッド）を比較します。Qwen3-8Bに対する大規模な評価の結果、KV-Reuseは長距離の受理を改善することが示されますが、エンドツーエンドの高速化は、現在の学習パイプラインの下ではわずかなままです。我々の分析では、2つの主要な構造的ボトルネックを特定します。すなわち、浅いドラフタは目標クエリを正確に見積もるのが難しく、またドラフト側のKV射影は疎な勾配信号しか受け取れない、という点です。これらの知見は、KVを意識したデコードの潜在能力を最大限に引き出すには、TTTを超えてブロック単位の学習パラダイムへ移行する必要があることを示唆しています。これらのボトルネックを明らかにすることで、KVShotは基礎となる診断用のテストベッドと、次世代の推論アーキテクチャを設計するための明確なロードマップを提供します。