Unsloth solved bug in Mistral Medium 3.5 implementation

Reddit r/LocalLLaMA / 5/2/2026

📰 NewsDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

共有:

Key Points

Unslothが「Mistral Medium 3.5」の推論において、一部の実装で問題が発生していた不具合をMistralと協力して修正し、修正版GGUFを公開しました。
その原因はYaRNのパース挙動に関するクセで、transformersやllama.cppを含む複数の実装に影響していました。
対処として、パラメータのmscale_all_dimを1から0に変更することで問題が解消すると説明されています。
併せて、mmprojファイルが正しく生成されない問題も修正されています。

https://unsloth.ai/docs/models/mistral-3.5

"May 1, 2026 Update: We worked with Mistral to fix Mistral Medium 3.5 inference affecting some implementations, and released updated GGUFs with the fix (NOT related to Unsloth or our quants). The issue was caused by a YaRN parsing quirk affecting several implementations, including transformers and llama.cpp. Changing mscale_all_dim from 1 to 0 resolved it. We also fixed mmproj files not being generated correctly."

submitted by /u/Snail_Inference
[link] [comments]