メモリ（KVキャッシュ）を量子化していますか？

タイトル。

人々は一般的にkvキャッシュをどのように扱っているのか気になります。BF16ですか？ Q8？ Q4？それともTurboquantのような、何か別の秘密の工夫でしょうか？

私はbf16をすべてで実行しています。幻覚が減ることを期待しているのと、そもそもg4とq3.6はネイティブにbf16で学習されているからです。ですが、q8やq4で良い結果が出ている人がいるのか、またはturbo3/4やそれに類する手法を使って良い結果が出ている人がいるのか、ぜひ聞いてみたいです。