NVIDIAのNemotron-3 Nano 4Bに対する初のアブリテレーション（abliteration）であり、GenRMの除去に取り組む最初の一般公開アブリテレーションでもあります。
攻撃的＝拒否なし；性格の変更なし、改変なし。元のNVIDIAリリースを、完全に無修正のまま。
https://huggingface.co/HauhauCS/Nemotron3-Nano-4B-Uncensored-HauhauCS-Aggressive
拒否 0/465。 能力喪失ゼロで完全にアンロック*。アスタリスクはここに付いています。GenRMの影響で、劣化した出力、コヒーレンスの喪失、ループなどに遭遇したことはありませんが、保証はできません。しかも私は個人で、時間・リソースが限られています。
GenRMとは何で、なぜ重要なのか？
NVIDIAはNemotronに生成報酬モデル（GenRM）を組み込み、第二の検閲レイヤーとして機能させています。アブリテレーションでベースモデルの拒否が除去された後でも、GenRMが生成時にそれらを再導入します。モデルがChain-of-Thought（思考の連鎖）であなたの要求を通常どおり推論しているときに起きる様子が、文字通り目に見えます。ところが実際の出力では180度反転します。CoTでは「もちろん、こうすればいい」みたいに言ったり、従う意図が明確な兆候を示したりするのに、出力は「それはお手伝いできません」となります。またはそれを別の何かにねじ曲げようと直接試みることで、将来的に起こりうる影響が大きくて、かなり厄介です。
このリリースではGenRMが完全に削除されています。違いを手元で一目で確認したい方のために、GenRMがまだ有効な比較ビルドをアップロードしました（IQ2_Mのみ）：
Nemotron3-Nano-4B-Uncensored-HauhauCS-Aggressive-GenRM
アブリテレーション自体のスコアは両方のビルドで0/465ですが、GenRMが有効だと、有効な結果が約~10/465に寄っていきます。これは、GenRMが特定のトピックでアブリテレーションされた重みを上書きしてしまうためです。これが実際どこまで深いのかを、適切にテスト・評価するのが非常に難しくなります。
なお、Nemotron-Hはアーキテクチャ的に特殊な点があり、標準的なTransformerではなくハイブリッドのMamba2-Transformerです。そもそもそれに取り組もうと思った理由でもあったのですが、そこへGenRMがやってきました :)
とにかく！ 含まれているもの：
- Q8_K_P, Q6_K_P, Q5_K_P, Q5_K_M, Q4_K_P, Q4_K_M, IQ4_XS, Q3_K_P, Q3_K_M, IQ3_M, Q2_K_P, IQ2_M (気になる方のためにBPWテーブルも同梱)
- imatrixで生成した全ての量子化（quants）
- K_P quantsは、重要なところで品質を選択的に保持するために、モデル固有の分析を使うカスタム量子化です。実効的に、品質が1〜2量子化レベル分だけ良くなり、ファイルサイズは約5〜15%だけ大きくなる程度です。llama.cpp、LM Studio、または（ほとんどの）GGUFを読むものと完全に互換です。
クイックスペック：
- 3.97Bパラメータ
- ハイブリッドMamba2-Transformer（42層：21 Mamba2、17 MLP、4 Attention）
- 262K ネイティブ コンテキスト
- 思考/推論モード（切り替え可能）
- ツール呼び出しサポート
- Nemotron-Nano-9B-v2から圧縮
NVIDIAからのサンプリング：推論時はtemp=1.0、top_p=0.95；ツール呼び出し時はtemp=0.6、top_p=0.95。
注：llama.cppでは--jinjaフラグを使用してください。LM StudioではK_P quantsが「?」として表示される場合がありますが、見た目だけの問題で、モデルは問題なく読み込まれます。HuggingFaceのハードウェア互換性ウィジェットでも全てのK_Pファイルは表示されません。Filesとversionsに行って確認してください。
次に予定：Nemotron Cascade2 30B-A3B、Qwen3 Next Coder（コーディングの検閲解除に重点）、多分Gemma3？
もし私にアンセンサーしてほしいモデルがあれば、ぜひ教えてください！保証はできませんが、リクエスト数に基づいて優先度を付けています :)
私の全モデル：HuggingFace-HauhauCS
GenRMあり/なしのビルド同士での比較を聞けるのを楽しみにしています。
[link] [comments]
