Qwen 3.6 27B は“怪物”だ

仕事でもらった5090 Laptopで、VRAMは24GBあります。

出てくるあらゆるモデルをテストしてきましたが、自信を持ってクラウドのサブスクリプションは解約することになると言えます。

ツール呼び出しやデータサイエンスのベンチマークで、私のユースケースに対してモデルが確実に良いことを証明するものはすべて合格しました。

他の職種ではそうではないかもしれませんが、pyspark/pythonとデータ変換のデバッグに関しては、ほぼ完璧です。

llama.cppを使い、q4_k_mをq4_0で使用しています。最適化のための選択肢はいまも検討中です。