SAW-INT4：実運用のLLMサービング向け、システム対応型4ビットKVキャッシュ量子化

概要: KV-cacheメモリは、実運用のLLMサービングにおける主要なボトルネックです。ここでは、レイテンシに敏感な小バッチ要求と、高スループットな多数同時ワークロードを、システムが同時にサポートする必要があります。多くのKV-cache圧縮手法はオフラインの精度や圧縮率を改善しますが、ページングされたメモリ配置、規則的なメモリアクセス、そして融合（fused）注意（attention）実行といった実運用上の制約にしばしば違反してしまい、そのため導入時の有効性が制限されます。
本研究では、これらの制約の下でも実行可能な4ビットKV-cache量子化手法の最小セットを特定します。中心となる発見は、単純な設計――トークン単位のINT4量子化に、ブロック対角ハダマール回転を組み合わせたもの――が、一貫して最良の精度効率のトレードオフを達成することです。複数のモデルとベンチマークにわたって、このアプローチは素朴なINT4によって失われる精度のほぼすべてを回復します。一方で、ベクトル量子化やヘッセアン（Hessian）を考慮した量子化といったより複雑な手法は、サービング互換性を考慮すると、追加で得られる利得はわずかにとどまります。
このように実用化するために、ページングされたKV-cacheのレイアウトに直接組み込まれる、融合回転-量子化カーネルを実装し、エンドツーエンドのオーバーヘッドをゼロとして測定できるようにします。さらに、同時実行レベルにおいても、プレーンなINT4と同等のスループットを実現します。結果は、効果的なKV-cache圧縮は本質的にシステムの共同設計（co-design）の問題であることを示しています。実運用のサービング制約の下では、軽量なブロック対角ハダマール回転は、サービング効率を損なうことなく、ほぼ損失のない精度を実現できる有力な手法です。