LongFlow: Reasoning M のための効率的な KV キャッシュ圧縮

最近の推論モデル、OpenAI-o1 や DeepSeek-R1 は、数学的推論やコード生成を含む複雑なタスクで高い性能を示している。しかし、この性能向上には出力シーケンスが著しく長くなるという代償が伴い、デプロイコストが大幅に増加する。特に長い出力は大規模な KV キャッシュを必要とし、注意計算の際に高いメモリ消費と深刻な帯域幅の圧力をもたらす。既存の KV キャッシュ最適化手法の多くは、長い入力・短い出力のシナリオを想定して設計されており、長い出力設定の推論モデルには効果的でない。さらに従来の研究における重要度推定は計算コストが高く、長時間の生成中に連続して再評価する必要がある場合には実用的ではなくなる。これらの課題に対処するため、我々は LongFlow を提案する。これは現在のクエリのみを用いて、注意計算の中間結果から導出される効率的な重要度推定指標を持つ KV キャッシュ圧縮手法である。この設計は計算オーバーヘッドをほとんど生じさせず、補助ストレージを必要としない。さらに、FlashAttention、重要度推定、トークン排除を1つの最適化演算子に融合するカスタムカーネルを開発し、システムレベルの効率を改善する。実験の結果、LongFlow は最大で 11.8 倍のスループット向上を、約80% の KV キャッシュ圧縮とともに達成し、モデル精度への影響は最小限であることを示している。