[D] GoogleのTurboQuantアルゴリズムはメモリチップへのAI需要を損なうのか？ [D]

GoogleのTurboQuantは、「その場で再構築することで」「精度の明確な低下はほとんど見られない」として、KVキャッシュを最大6倍圧縮できると主張しています。同様のKVキャッシュ圧縮手法を調べたことがある人にとって、目立った劣化なしに6倍の削減が現実的なのでしょうか？それとも、これは特定の用途に強く依存しそうでしょうか？

もしTurboQuantが実際に1トークンあたりのコストを4〜8倍削減するとしたら、ローカルでの導入にとってそれは何を意味するのでしょうか？マルチGPUセットアップなしで、大規模なコンテキストウィンドウを持つモデルをローカルで動かせるようになる、近い将来が見えているのでしょうか？