MiniMax M2.7 GGUFの調査、修正、ベンチマーク

やあ r/LocalLLaMA、私たちは、MiniMax-M2.7 GGUF が perplexity（当惑度）で NaN を引き起こす件について調査しました。私たちの調査結果では、この問題はHugging Face 上のすべての GGUF の 21%〜38%に影響しており（私たちのものだけではありません）。

• 他の人気コミュニティ投稿者にも 38%（10/26）で NaN があり、別の投稿者は（1/4）で削除していました。そして私たちのものでは 22%（5/23）に NaN がありました――私たちはそれを修正しました。
• 99.9% KLD や他の指標を実行すると、すべて問題ありません。
• 原因はllama.cpp でのオーバーフローだと突き止めました。
• PPL、KLD 99.9% のベンチマークも実施しました――左下がより良いです。

https://preview.redd.it/46i7z9e1m7vg1.png?width=1600&format=png&auto=webp&s=bbfe77263d210211c1fc0d7a6a973d7027ce18af

• block 32 の間に Perplexity で NaN が発生していました。これはコミュニティや他の量子化（quant）投稿者によっても見つかっていました。さらに block 311 も問題の原因になることが分かりました。
• 原因は blk.61.ffn_down_exps でした。つまり、これらの Q5_K と Q4_K は、PPL 評価中に chunk 32 から NaN を生成します。興味深いことに、IQ4_XS、IQ3_XXS、そしてより小さい I の量子型では NaN になりません。
• これはかなり混乱を招きました。たとえば低ビットの量子化（例: Q2_K_XL）では NaN にならないのに、中くらいのサイズの量子化では NaN になったのです（Q4_K_XL など）。
• 現在、問題を軽減するために、M2.7 の量子化を https://huggingface.co/unsloth/MiniMax-M2.7-GGUF で更新しました。ただし、NaN を伴う perplexity の正確な原因はまだ分かっていません。たまたまかもしれませんし、可能性が高いのは、大きな掛け算（multiples）によってオーバーフローが起きることです。

私たちはどの量子化をテストしましたか？

• NaNs（38%）が 10/26 見つかったもの：https://huggingface.co/bartowski/MiniMaxAI_MiniMax-M2.7-GGUF: Chunk-32 での失敗（9）：IQ3_XXS、IQ3_XS、IQ3_M、Q3_K_M、Q3_K_L、Q3_K_XL、Q4_K_S、Q4_1、Q5_K_S。終盤での失敗（1）：IQ1_S（chunk 311 でクラッシュ）
• NaNs（21%）が 5/23 あったのは私たちのもの――すべて今は修正済み：https://huggingface.co/unsloth/MiniMax-M2.7-GGUF: UD-Q4_K_S、UD-Q4_K_M、UD-Q4_K_XL、UD-Q5_K_S、MXFP4_MOE。すべて block 32。
• https://huggingface.co/AesSedai/MiniMax-M2.7-GGUF の Q4_K_M で NaN が 1/4。NaN のため削除されました。これも block 32 です。

また、CUDA 13.2 は依然として間違いなく問題です。 これにより、すべてのモデルでいくつかの低ビット量子化が判別不能（gibberish）になります。問題ではないとして片付けた人もいますが、私たちが見た限りでは、CUDA 13.1 以下を使うと直ることを 50 人以上がすでに確認しています。Hugging Face のディスカッション、Reddit の投稿などで、公開されているコメントの一部も確認できます。NVIDIA は、この問題を調査していることを認めています――Unsloth Issue 4849、llama.cpp issue 21255、issue 21371 をご覧ください。

ご質問があればぜひ聞いてください。また、いつも変わらぬご支援に改めて感謝します。どうもありがとうございます。よい一週間をお過ごしください。