自己強制型の動画生成におけるKVキャッシュ量子化：33手法による経験的研究

Abstract

自己強制（self-forcing）による動画生成は、短い地平（short-horizon）の動画モデルを、生成した内容を文脈（context）として繰り返しフィードバックすることで、より長いロールアウトへ拡張します。このスケーリング経路は直ちにシステム上のボトルネックを露呈します。すなわち、キー・バリュー（KV）キャッシュがロールアウト長に応じて増大するため、長い動画には、より良い生成品質だけでなく、実質的により良いメモリ挙動が必要になるのです。私たちはWan2.1ベースの自己強制スタック（Self-Forcing stack）における自己強制動画生成のためのKVキャッシュ圧縮について、包括的な実証研究を行います。この研究では、33の量子化およびキャッシュ方針（cache-policy）バリアント、610のプロンプトレベル観測、そして2つの評価設定（MovieGenによる単発の10秒生成、StoryEvalによる長い物語スタイルの安定性）にまたがる63のベンチマークレベル要約を扱います。私たちは、ピークVRAM、実行時間、達成された圧縮率、VBench画像品質、BF16参照に対する忠実度（SSIM、LPIPS、PSNR）、および終端ドリフト（terminal drift）を共同で評価します。頑健性のある結論は3つあります。第一に、最も実用的な運用領域はFlowCacheに着想を得たソフトプルーン（soft-prune）INT4の適応であり、圧縮率は5.42〜5.49xに到達しつつ、ピークVRAMを19.28 GBから約11.7 GBへと削減でき、実行時間のオーバーヘッドはわずかです。第二に、最高忠実度の圧縮手法、特にPRQ_INT4およびQUAROT_KV_INT4は、配備（デプロイ）上の選択としては最善ではありません。これらは、過酷な実行時間またはメモリコストのもとで品質を維持するためです。第三に、名目上の圧縮だけでは不十分です。いくつかの手法はKVストレージを縮小するものの、現行の統合（integration）では注意（attention）およびリフレッシュ（refresh）段階で大きなBF16バッファを再構成または保持してしまうため、BF16のピークVRAMを依然として超えてしまうのです。その結果として、どのKVキャッシュのアイデアが今日実用的で、どれがより良いメモリ統合に向けた有望な研究方向であるかを示す、ベンチマーク・ハーネス、分析ワークフロー、および実証的なマップが得られました。コード、データ製品（data products）、およびプレゼンテーション用ダッシュボードは https://github.com/suraj-ranganath/kv-quant-longhorizon/ で利用可能です。