CodeComp: エージェント型コーディングのための構造的KVキャッシュ圧縮

Abstract

フォールトローカライゼーションやパッチ生成といったエージェント型のコードタスクでは、メモリ制約が厳しい状況下で長大なコードベースを処理する必要があり、そのためKey-Value（KV）キャッシュが主たる推論のボトルネックになります。既存の圧縮手法はトークン重要度の推定に注意（attention）信号にのみ依存しており、呼び出し箇所（call sites）、分岐条件（branch conditions）、代入（assignments）のような、コード理解に不可欠な構造的に重要なトークンを体系的に破棄してしまいます。我々はCodeCompを提示します。CodeCompは、Joernから抽出したコードプロパティグラフ（Code Property Graph）に関する事前知識（priors）を通じて静的プログラム解析をLLM推論へ取り込む、学習不要（training-free）のKVキャッシュ圧縮フレームワークです。バグローカライゼーションおよびコード生成のベンチマークにおいて、CodeCompは等しいメモリ予算のもとで注意のみの圧縮ベースラインを一貫して上回り、過度なKVキャッシュ圧縮下でもフルコンテキスト精度の大部分を回復します。また、圧縮なしのフルコンテキスト推論と同等のパッチ生成品質を達成し、モデル変更なしでSGLangベースのエージェント型コーディングのパイプラインへシームレスに統合されます。