情報理論に基づく統一的目的によるKVキャッシュ排出の再考

Abstract

キー・バリュー（KV）キャッシュは大規模言語モデルの推論に不可欠ですが、そのメモリオーバーヘッドが長いコンテキスト生成における重大なボトルネックとなっています。既存のエビクション（退避）ポリシーは主に経験的なヒューリスティックに依存しており、厳密な理論的基盤が欠けています。本研究では、情報ボトルネック原理の観点からKVキャッシュのエビクションを捉え直します。注意の線形ガウスの代理モデルの下で、保持されたKVキャッシュ部分集合の有効な情報容量を特徴づける閉形式の相互情報量目的関数を導出します。この定式化により、幅広い既存のエビクション戦略が、同一の容量最大化原理の異なる近似として解釈できることが明らかになります。この洞察に導かれ、CapKVという容量を意識したエビクション手法を提案します。これは統計的レバレッジスコアを用いた対数行列式（log-determinant）近似により、情報の保持を直接的に目標とします。このアプローチは、予測上の最大の信号を保持するという理論に基づく仕組みによって、ヒューリスティックな選択を置き換えます。複数のモデルと長いコンテキストのベンチマークにまたがる大規模な実験の結果、CapKVは一貫して従来手法を上回り、メモリ効率と生成の忠実度の間のより良いトレードオフを実現することが示されました。