プリフィル・アズ・ア・サービス：次世代モデルのKVキャッシュがデータセンター間で可能に

^{ここで共有するだけですが、これがローカルモデルに対して適している／役に立つかどうかは分かりません。}

^{これはKimi／Moonshotによるものです。 出典の投稿}

私たちは、単一クラスタを超えてPrefill／Decodeの分離を推し進めました。つまり、クロス・データセンター＋異種ハードウェアです。これにより、トークンあたりのコストを大幅に下げる可能性が解き放たれます。

これは以前、KVキャッシュ転送のオーバーヘッドによって阻まれていました。重要な実現要因は、私たちのハイブリッドモデル（Kimi Linear）で、KVキャッシュのサイズを削減し、クロスDC PDを現実的にします。

20倍にスケールアップしたKimi Linearモデルで検証済み：
✅ 1.54× スループット
✅ P90 TTFTが64%減
→ 直接、トークンコストの低下につながります。

Prefill-as-a-Serviceの詳細：arxiv.org/html/2604.15039v1