同値性の幻想：KVキャッシュ付き自己回帰推論におけるFP16系統的発散

要旨: KVキャッシングは、自己回帰型トランスフォーマー推論における広く普及した最適化であり、長らくキャッシュなし計算と数値的に同等であると考えられてきました。しかし、この仮定は標準的なFP16精度では成り立ちません。キャッシュONとキャッシュOFFの実行パスでは、異なる浮動小数点の加算順序が用いられ、FP16の非結合性（non-associativity）により、デコードされるトークン系列に決定論的な発散が生じます。GSM8Kで評価した3つのオープンウェイトモデル（LLaMA-2-7B、Mistral-7B-v0.3、Gemma-2-2B）において、貪欲デコードを含むすべてのサンプリング戦略で100\%のトークン発散率を観測しました。これは、サンプリングの偶然性が原因でないことを意味します。さらに、9条件中8条件でキャッシュONのほうが高い精度を示し、その精度差は、発散の方向がランダムではなく体系的であることを示す指標となります。制御されたFP32による反証（falsification）は発散を8桁（8 orders of magnitude）減少させ、トークンの反転をなくし、反転率を正確に0.0\%まで低下させました。これにより、FP16の非結合性が唯一の因果的要因であることが確認されます。層ごとのドリフト計測（layer-wise drift profiling）では、構造的に予測可能な伝播パターンが明らかになります。Grouped-Query Attentionを使用するモデルでは最初の層で急激な発散が生じる一方、Gemmaはより大きいヘッド次元とスライディングウィンドウ注意（sliding window attention）によって、すべての層にわたって一様な蓄積（accumulation）を示します。最後に、残差ストリーム全体に対するアクティベーションパッチング（activation patching）ではキャッシュなしの軌跡を回復できず、因果変数がステートフルなKVキャッシュに局在することが示されます。これらの知見は、FP16のKVキャッシュ推論が再計算（recomputation）と根本的に同値ではないことを確立し、現代のLLM推論システムにおける数値的不安定性を理解するための機構的（mechanistic）な枠組みを提供します。