35bの量子化効果がどう見えているのか、皆さんがどのように感じているのか気になります。最近vramを48GBに更新したので、ud-q4_k_xlからq8に切り替えたのですが、その違いはかなり明確に感じます。単にツール呼び出しがより効果的になっているようで、いくつかのプロンプトで曖昧さやニュアンスをより正確に掴めるようになっているようです。また、調査系の質問のようなものでも、よりバランスの取れた回答を返してくれるように思います。
これはもちろん、手早いフィーリング確認のテストでしたが、近いうちにud-q6_k_xlも試してみて、5GB超のvramがその分の品質にどれくらい見合うのか確かめるつもりです。ただ、他の人たちの所見も聞いてみたいです。
アクティブ数がこれほど少ないと、量子化の影響に特に敏感になるのではと思っていましたし、実際に遊んだ後もそのように感じています。
[link] [comments]
