MiMo-V2.5-GGUF（プレビューあり）

こんにちは、AesSedaiです。

llama.cpp で MiMo V2.5 のテキストtoテキスト推論をサポートするための PR を用意しました（V2.5 が終わったら Pro でも同様に対応するはずです）。https://github.com/ggml-org/llama.cpp/pull/22493

また、HF にいくつかの量子化モデルもアップしました（https://huggingface.co/AesSedai/MiMo-V2.5-GGUF）。Q8_0 だけでなく、いつもの MoE 最適化した量子化モデルもあります（初めての方のために説明すると、基本的には多くのモデルで Q8_0 か Q6_K で、FFN（FFNs）を量子化時に下げています）。Q4_K_M には NAN という妙な問題があり、調べています。おそらく 47 層目の ffn_down_exps tensor だと思っています（編集：NAN の問題は修正しました。動作する Q4_K_M をアップロードしました！）

Bartowski、Ubergarm、Unsloth、そして私たちの素敵な llama 量子化カルトの残りの皆さんも、近いうちにそれぞれの量子化モデルをフォローしてくれるはずです。

ただ、これはまだマージ前なので、変更が入る可能性はありますが、この PR ができればすぐにレビューされてマージされることを願っています。何か問題があれば教えてください。