皆さん、こんにちは。私はこのコミュニティ向けに、初めての完全に検閲なしのLLMモデルを作成しました。リンクはこちら:
https://huggingface.co/LuffyTheFox/Qwen3.5-9B-Claude-4.6-Opus-Uncensored-Distilled-GGUF
このモデルでは、ggufファイルに組み込まれた修正版のチャットテンプレートによって、思考はデフォルトで無効化されています。
それゆえ、私はQwen 3.5 9Bを、特にロールプレイの執筆や画像生成のプロンプト作成・タグ付けのためにNVIDIA RTX 3060 12 GBで使うのが好きですが、創造性に欠け、多くの思考ループを含み、拒否が多すぎます。そこで、以下の調整を行いました:
1) 最も人気のあるモデルを以下からダウンロードしました: https://huggingface.co/HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive
2) 2番目に人気のあるモデルを以下からダウンロードしました: https://huggingface.co/Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
3) HauhauCSのチェックポイントを標準のQwen 3.5チェックポイントと比較し、HauhauCSによって修正されたテンソルを抽出しました。
4) HauhauCSによる修正テンソルをJackrongのテンソルと結合しました。
上記の作業はすべてGoogle Colabのこのスクリプトを介して行われました。Claude Opus 4.6でバイブコードしました: https://pastebin.com/1qKgR3za
次の段階では、システムプロンプトを作成しました。こちらにも別のペーストビンがあります: https://pastebin.com/pU25DVnB
修正済みモデルをLM Studio 0.4.7(Build 1)に以下のパラメータで読み込みました:
Temperature: 0,7
Top K Sampling: 20
Presence Penalty: 1.5
Top P Sampling: 0.8
Min P Sampling: 0
Seed: 3407 or 42
そして、すべて問題なく動作します。拒否はゼロ。9Bモデルとしての応答は非常に良く、創造的です。現在、Claude Opus 4.6の思考ロジックでファインチューニングされた、Qwen 3.5 9Bの蒸留済み・検閲なしバージョンを手に入れました。役に立つことを願っています。お楽しみください。必要であれば私のシステムプロンプトを簡略化したり、拡張したりしてください。
[リンク] [コメント]