HybridKV：効率的なマルチモーダル大規模言語モデル推論のためのハイブリッドKVキャッシュ圧縮

要旨: マルチモーダル大規模言語モデル（MLLMs）は、テキスト・画像・動画にまたがる統一的な推論を進展させてきましたが、その推論（inference）は主要なキー・バリュー（KV）キャッシュの急速な増大によって妨げられています。各視覚入力は数千トークンに展開され、その結果、キャッシュはコンテキスト長に対して線形にスケールし、さらにデコードの間ずっとGPUメモリ上に常駐します。これにより、高性能GPUであっても許容できないほどのメモリオーバーヘッドとレイテンシが生じます。一般的な解決策は、固定された割り当て予算のもとで、異なる粒度に応じてキャッシュを圧縮することです。具体的には、トークンレベルでは均一に重要度の低いトークンを破棄し、層（レイヤ）レベルでは層ごとに保持を変え、ヘッドレベルでは予算をヘッド間で再配分します。しかし、これらの手法は割り当て（allocation）で止まっており、異なる圧縮戦略を必要とする注意（attention）ヘッドの不均一な挙動を見落としています。そこで本研究では、3つの段階で補完的な戦略を統合するハイブリッドKVキャッシュ圧縮フレームワーク「HybridKV」を提案します。まず、テキスト中心の注意を用いて、ヘッドを静的（static）型または動的（dynamic）型に分類します。次に、階層的なトップダウンの予算割り当て方式によりKV予算を割り当てます。最後に、静的ヘッドはテキスト優先のプルーニングで圧縮し、動的ヘッドはチャンク単位のリトリーバル（retrieval）によって圧縮します。Qwen2.5-VL-7Bを用いた11のマルチモーダルベンチマークでの実験では、HybridKVがKVキャッシュのメモリを最大7.9\times削減し、フルキャッシュのMLLMに対してほとんど性能低下がない、あるいは相対的にさらに高い性能を維持しつつ、デコードを1.52\times高速化することを示しました。