StructKV：スケーラブルな長文コンテキスト推論のための構造的スケルトンの保持
arXiv cs.CL / 2026/4/9
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- StructKVは、数百万トークン以上の長文コンテキストにおけるLLM推論のための、構造を意識したKVキャッシュ圧縮手法として提案されている。長距離の振る舞いを損なうことなく、メモリ/帯域のボトルネックを低減することを目的とする。
- このアプローチでは、単一層の局所的な重要度（local saliency）に依存するのではなく、ネットワークの深さにわたる注意パターンからGlobal In-Degree Centralityを計算することで、「グローバルな情報ハブ（global information hubs）」を同定する。
- 情報理論的な指標を用いたDynamic Pivot Detectionにより、圧縮に最適な層を適応的に選択する。これにより、トークンがグローバルには重要である一方で、局所的には休眠状態になり得るケースに対応する。
- StructKVはさらに、Structural PropagationとDecouplingによって計算制約とメモリ制約を分離し、スケーラブルな長文コンテキスト推論を可能にする。
- LongBenchとRULERでの実験により、従来のトークン除去/圧縮手法と比べて、長距離依存関係の保持が向上し、検索（リトリーバル）の頑健性もより強いことが示されている。
