ctx 75k で G4 31B Q8 XL を、また Gwen の 27B と 35B Q8 XL で ctx 145k を、それぞれ動かせますが、SSD と VRAM の GB 分を無駄にしていないか気になっています。
ディスク容量を節約して、少しだけ T/s を増やし、さらにコンテキストも増やすために Q6 K にアップグレードする価値はありますか? それとも、知能が「Kld」や「kl」では大きく劣化しますか?
Q6 を使うと Vision は影響を受けますか?
Q6 K XL は通常の「Q6 K」よりずっと良いですか?
[link] [comments]


![[はじめてのnote]人間はAIにどこまで任せられるのか。](/_next/image?url=https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F272323116%2Frectangle_large_type_2_cdc23772da0af48754759e5922c4bfc5.png%3Fwidth%3D219%26dpr%3D2%26frame%3D1%26format%3Djpg&w=3840&q=75)

