自分でGGUFクウォントを作りたいと考えている方のために、プロセスをより簡単にするためのGGUF-Tool-Suiteのドキュメントと、シンプルなWeb UIを用意しました。
- Docs: https://github.com/Thireus/GGUF-Tool-Suite/tree/main/docs
- Web UI: https://gguf.thireus.com/quant_assign.html
このツールの目的は、ik_llama.cpp と llama.cpp向けに、Web UIまたはCLIのいずれかを通じて、誰でも任意のサイズのGGUFをベンチマークし、さらに自動的に生成できるようにすることです。
ツールスイートは、より良いGGUF品質と、ハードウェアに最適に合わせるための柔軟性を求める熱心な数名のユーザーによってすでに採用されています。また、私のテストでは、特にik_llama.cppのレシピを使用する場合に、他の人気リリースよりも高品質なGGUFを生成できることが検証されています。
Kimi-K2.5とGLM-5.1のベンチマークは近日公開予定ですが、このツールはすでにベンチマーク済みのかなり多くのモデルで動作します。
[link] [comments]
