消去モデル（abliteration model）を取得しました。セキュリティのガードレールが締め付け過ぎていて、モデルがデスループに入ってしまっているのではと疑っています。
私は Gemma31b ではなく Gemma31b-abliteration を使いました。
llama.cpp は両方とも同じバージョン、同じ設定、同じエージェンティック・ハーネス（opencode）です。
文字通り、すべて同じで、サンプリングのパラメータも同じでした。公式モデルは、ある一定のところまでは複数ファイルの編集で動作しますが、その後、やがてループして「死のスパイラル」に陥ります。しかし
abliteration モデルは？完全にうまく動きました。私は、セキュリティを削除する（取り除く）ことが過度にならない abliteration を使うようにしています。というのも、攻撃性が高いほど、知能の損失が大きくなるからです。
同じような経験をした方はいますか？
私が使っているのはこの GGUF です https://huggingface.co/paperscarecrow/Gemma-4-31B-it-abliterated/blob/main/gemma-4-31b-abliterated-Q4_K_M.gguf
[link] [comments]
