ScoutAttention：レイヤー先読みのCPU事前計算によるLLM推論のための効率的KVキャッシュオフロード

要旨: 大規模言語モデルは、長いコンテキストでの推論中に、重要なGPUメモリ容量の制約に遭遇します。ここでは、KVキャッシュのメモリ消費がデコードのバッチサイズを著しく制限します。既存の研究では、KVキャッシュをDRAMへオフロードすることが検討されてきましたが、これらの手法は、頻繁なGPU-CPU間のデータ転送を要求するか、あるいは広範なCPU計算を課すため、システムがI/O処理やCPU処理の完了を待つことでGPU利用率が低下します。
本研究では、協調的なGPU-CPUアテンション計算によりLLM推論を加速する、新しいKVキャッシュオフロードの枠組みScoutAttentionを提案します。CPU計算がボトルネックにならないようにするため、ScoutAttentionは、CPU負荷を大幅に低減するGPU-CPU協調のブロック単位の疎アテンションを導入します。従来の並列計算アプローチとは異なり、当該フレームワークは新規の「レイヤ先行」CPU事前計算アルゴリズムを備えており、CPUが1層先のアテンション計算を開始できるようにします。さらに、CPUの計算負荷を最小限に保つための、非同期の周期的リコール機構を組み合わせます。実験結果は、ScoutAttentionが基準（ベースライン）に対して精度を2.4%以内に維持しつつ、既存のオフロード手法と比較して2.1倍の速度向上を達成することを示しています。