Q8の使用は資源の無駄?

Reddit r/LocalLLaMA / 2026/5/3

💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage

要点

  • この投稿は、高量子化(Q8)のLLMを動かすことが、Q6 Kのようなより低い量子化に比べてディスク容量やVRAMの面で非効率なのかを問いかけています。
  • 投稿者は、対応するコンテキスト長(例:75kと145k)や推定トークン/秒といった性能を比較し、ハードウェアの負担とのトレードオフを検討しています。
  • 重要な論点として、Q8からQ6に下げることで知能や全体的な能力が大きく劣化するかどうかを気にしています。
  • また、量子化がビジョン機能に与える影響や、「Q6 K XL」が「Q6 K」と比べてどれほど改善するのかも質問しています。

ctx 75k で G4 31B Q8 XL を、また Gwen の 27B と 35B Q8 XL で ctx 145k を、それぞれ動かせますが、SSD と VRAM の GB 分を無駄にしていないか気になっています。

ディスク容量を節約して、少しだけ T/s を増やし、さらにコンテキストも増やすために Q6 K にアップグレードする価値はありますか? それとも、知能が「Kld」や「kl」では大きく劣化しますか?

Q6 を使うと Vision は影響を受けますか?

Q6 K XL は通常の「Q6 K」よりずっと良いですか?

submitted by /u/Spiderboyz1
[link] [comments]