AI Navigate

Qwen3.5 122B INT4 Heretic/無検閲(といくつかの楽しいメモ)

Reddit r/LocalLLaMA / 2026/3/16

💬 オピニオンDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

要点

  • この投稿は Qwen3.5-122B INT4 'Heretic' モデルを紹介し、Hugging Face のリリースを指し示し、重みが改ざんされていることを指摘し、詳細はモデルカードを参照している。
  • 著者は 2 台の ASUS Ascents からなる小規模クラスターを説明し、複数の環境をサポートするために約256GBのRAMを確保している。
  • Bare Metal、The Scout、The Genji Glove、The Cardinal、The Heretic のそれぞれの環境を命名・説明しており、これらはクラスタ全体で異なる役割と規模を持つ。
  • インターコネクトケーブルの入手が難しいと警告し、naddod というサプライヤーから1本を注文し、助言を受けたことを共有している。
  • いじりを超えて、この投稿はハードウェアの実験を、2026年のAI学習を加速する楽しい道として位置づけている。
Qwen3.5 122B INT4 Heretic/Uncensored (and some fun notes)

こんにちは、みなさん、

モデルはこちらです: happypatrick/Qwen3.5-122B-A10B-heretic-int4-AutoRound

ソフトウェアエンジニアリングの分野で何十年も働いてきました。とはいえ、こんなに楽しいのは初めてです。物事の新しい次元が大好きです。やっと趣味を見つけられて嬉しいです。それが2026年をより良く見せています!

さあ、行こう。 ASUS Ascents のクラスターを手に入れました:

https://preview.redd.it/4yzt9mc7qapg1.png?width=640&format=png&auto=webp&s=33cdbc5b7f20e3b6af01bd45a1b577752947e5cb

DGX Spark 内部構造

なぜですか? 私は個人資産管理が本当に苦手だからです。さらに、AI に浸りたい場合は、学習のプレッシャーを高めるためにハードウェアに思い切った購入をしてください。

2台を組み合わせると、遊ぶためのRAMが約256GB手に入ります。私が好きな運用環境をいくつか考えました:

  • ベアメタル: モデルを調整したり、Jupyterノートブックで遊ぶ時にこれを使います。不要なモデルはすべてオフにします。これは私の実験/学習/科学の環境です。
  • The Scout: Qwen3.5 27B の密度が高く強力です。カスタムハーネスで私のために素晴らしいコーディング作業をします。クラスター上に展開しています。
  • The Genji Glove: 私は Qwen3.5 27B と Qwen3.5 35B を両手持ちで使います。パーティーを楽しむ時に使います。35B は速く、27B は真剣で、私たちは物事を成し遂げます。彼らはクラスター全体には動作せず、別々のノードに配置されます。
  • The Cardinal: Qwen3.5 122B INT4。非常にスマートで、汎用エージェントの使用に最適です。適切なハーネスがあれば、強力に機能します。そう、すごく効きます。そんな発言は受け止めてください。これはクラスタ全体に渡ります。
  • The Heretic: 新入り!私の最初の量子化です!上部のリンクです。クラスター全体に渡り、カーディナルより速いです! Qwen3.5 122B ですが、重みが改ざんされています。詳しくはモデルカードをご覧ください。

*クラスターを手に入れたい方へ。これらをつなぐあの狂ったケーブルは本当にトリップします。見つけるのは本当に難しいです。広告ではありませんが、naddod から1つ注文しました。彼らは私に連絡をくれて「近いけど、あなたは何をしているのか分かっていないようなので、探しているケーブルはこちらです」と教えてくれました。正しかったのです。いい人たちです。

**最後に、不要な意見ブロック: ローカルでコーディング用のモデルを使用しようとすると、バスケットボールシューズのようなものです。つまり、Opus 4.6 はエアジョーダンのようですが、私の小さな Qwen であなたとあなたの仲間を崩してしまう自信があります。スキルレベルは重要です。何をしているかを学ぶことを忘れないでください!これは冗談として言っています。ただ、子供たちがまだ学習してこのことを学ぶべきだと知ってほしいだけです。魔法ではなく、科学であり、楽しいのです。

もしよろしければご質問ください。これらの機械を数ヶ月間使ってきましたが、素晴らしい時間を過ごしています。人間として返信します。私もそれがかっこいいと思うからです。AI の雑な回答をお届けするよりも良いです。たくさん質問してくれれば、AI を介して物事を“書く”ようにして、それを“私の声のように聞こえる”と伝えるつもりです。そうすれば皆さんは私が AI を使ったことが分かるでしょう。実際、この文章にも AI を使っています。本気で、フォーマット、綴り、文法の修正など… 後で私を褒めてください。

投稿者 /u/Ok-Treat-3016
[リンク] [コメント]