ローカルモデル向けの「Claude-4.6-Opus」ファインチューニングは、たいていの場合“格下げ（ダウングレード）”になる

何度も何度も、基盤モデルに対して知能や推論力が向上するとうたうこれらのファインチューニングに関する投稿を見かけて、私はそれを継続的に試し、やっぱり失敗していると気づいて、その直後に削除しています。モデルが大きいので、場合によってはより低い量子化（quant）にまで落としたこともあります。この例では、Qwen 3.5 27bの40bバリアントですが、それでも結局いつも期待を裏切られます。「Claude Opus 4.6」という名前が付いたモデルはダウンロードしないことにしました。

基盤モデルをより賢くしようとする皆さんには称賛を送りたいのですが、私の意見では、うまくいったことはありません。

これは、ただ1つのプロンプトに対する逸話的な証拠である点に注意してください。しかし、全体としては、ローカルエージェントのセットアップ＋WSL2のllama.cppで使うときは、いつも知能が低下するというのが実情です。量子化（quant）に関しても関係なく、私は何度も試しました。

ただし、気づくべき点として、推論／考える時間がかなり少ないようです。たぶん、それが問題の一部なのでしょう。

あなたは、これらがベースよりも良いと感じたことはありますか？

添付されているスクリーンショットは以下です：

./llama-server -hf mradermacher/Qwen3.5-27B-heretic-GGUF:Q4_K_S --temp 1.0 --top-p 0.8 --top-k 20 --min-p 0.00 --fit on --alias default --jinja --flash-attn on --ctx-size 262144 --ctx-checkpoints 256 --cache-ram -1 --cache-type-k q4_0 --cache-type-v q4_0 --threads 8 --threads-batch 16 --no-mmap ./llama-server -hf mradermacher/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-i1-GGUF:i1-Q3_K_S --temp 1.0 --top-p 0.8 --top-k 20 --min-p 0.00 --fit on --alias default --jinja --flash-attn on --ctx-size 131072 --ctx-checkpoints 256 --cache-ram -1 --cache-type-k q4_0 --cache-type-v q4_0 --threads 8 --threads-batch 16 --no-mmap