Qwen 3.6 Ollamaリリース、コンシューマGPUベンチマーク、GGUF量子化の修正
今週の注目ポイント
今週のローカルAIニュースでは、Ollama上でQwen 3.6モデルの公式リリースが取り上げられます。これにより、新しいMoEアーキテクチャに対して複数の量子化レベルを簡単に利用できるようになりました。さらに、開発者たちは、コンシューマー向けハードウェア上でのQwen 3.6の重要な性能最適化も共有しており、加えてGGUF量子化の品質を高めるための新しい手法も紹介されています。
Ollamaで新登場：batiai/qwen3.6-35b — ツール + thinking を含む完全なQwen 3.6ラインナップ（r/Ollama）
出典: https://reddit.com/r/ollama/comments/1soyu4s/new_on_ollama_batiaiqwen3635b_full_qwen_36_lineup/
この更新では、Ollamaプラットフォームで新しいQwen 3.6 35B-A3B Mixture-of-Experts（MoE）モデルが、batiai/名前空間のもとで即時利用可能になったことが発表されています。ユーザーは、Qwen 3.6のさまざまな量子化バージョンを手軽にプルして実行できるようになりました。これらは、多様なコンシューマー向けハードウェアでの効率的なローカル推論を目的に特別に調整されており、特にRAM容量が異なるMacシステムへの対応に重点が置かれています。
リリースでは、iq3（13 GB、16 GBのMac向け）とiq4（18 GB、24 GBのMac向け）という量子化レベルが大きく取り上げられています。これにより、高度な能力で知られる強力なQwen 3.6アーキテクチャが、モデルをローカルで実行したいより多くのユーザーにとって利用しやすくなります。Ollamaへの統合は、最先端のオープンウェイトモデルのデプロイや試験の手順を合理化し、自社ホスティング型AIエコシステムにおけるプラットフォームの役割をさらに推し進めます。これらのモデルには「tools + thinking」機能が含まれているとも記されており、最初からエージェント型ワークフローへの強化された対応が示唆されています。
このリリースは、パーソナルマシン上で高性能なオープンウェイトモデルに、ユーザーフレンドリーにアクセスできることへの需要の高まりに直接応えています。クラウドベースのサービスに頼らずに、開発者や愛好家が自分のプロジェクトでQwen 3.6を活用しやすくなりました。Macを最優先にした調整が、このローカルAIコミュニティのその層にとって特に有益である点も強調されています。
コメント：これはOllamaユーザーにとって大きな話です。最適化された量子化を伴うQwen 3.6のMoEアーキテクチャのおかげで、コード作業のために、MacBook Pro上でより高性能な命令調整済みモデルをローカル実行できるようになりました。しかも、ollama pullで直接取得できます。
RTX 5070 Ti + 9800X3DでQwen3.6-35B-A3Bを79 t/s（128Kコンテキスト）。重要なのは--n-cpu-moeフラグ。（r/LocalLLaMA）
出典: https://reddit.com/r/LocalLLaMA/comments/1sor55y/rtx_5070_ti_9800x3d_running_qwen3635ba3b_at_79_ts/
ローカル推論の性能における注目すべき成果が報告されています。コンシューマー向けの入手しやすいハードウェア構成で、Qwen 3.6 35B-A3B Mixture-of-Experts（MoE）モデルを効率よく動作させる様子が示されています。ユーザーは、RTX 5070 Ti GPUと9800X3D CPUの組み合わせで、非常に大きい128Kコンテキストウィンドウを使用しながら、生成速度79トークン/秒（t/s）を達成しました。
このベンチマークから得られる重要な洞察は、--n-cpu-moeフラグが与える深い影響です。このフラグは、最も重要な設定項目として強調されており、特定のMoE層や計算タスクをCPUへインテリジェントにオフロードする役割があることを示しています。こうしたハイブリッド処理により、コンシューマー向けGPUでMoEモデルを扱う際にしばしば問題になるVRAM制約を事実上回避でき、結果として、そのようなハードウェアから通常期待される以上に高いスループットと、より深いコンテキスト処理が可能になります。
この発見は、特にMoEアーキテクチャに取り組む人たちにとって、ローカルAIコミュニティにとって非常に価値があります。適切な設定と最適なハードウェア活用があれば、高コンテキスト・高速な推論は可能であるだけでなく、すぐに入手できるコンシューマー向け環境でも非常に高い性能を発揮し得ることを示しています。このような最適化は、セルフホスティング型LLMの能力を前進させ、先進的なモデルを日常的な用途でより実用的にするために重要です。
コメント：MoEモデルで性能を出すには、適切なフラグを見つけることが重要です。Qwen3.6向けの--n-cpu-moeのヒントは、128Kコンテキストで「かろうじて動く」から「実際に生産的に使える」へと差を生む種類の最適化詳細です。
Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF（r/LocalLLaMA）
出典: https://reddit.com/r/LocalLLaMA/comments/1sp2l72/qwen3635ba3buncensoredwassersteingguf/
このニュース項目は、量子化されたGGUFモデルの品質における重要な技術的改善を発表するものです。対象は、特にQwen 3.6-35B-A3Bモデルです。開発者は、「ssm_conv1d tensor drift（テンソルドリフト）」という問題を特定し、修正する解決策を実装しました。これは、量子化後にモデルの性能や精度を低下させ得る一般的な問題です。このドリフトは、多くの場合、フル精度モデルの出力と量子化後の出力の間に目に見える差異を生みます。
提案された解決策では、量子化プロセス中に距離の数学的尺度であるワッサースタイン距離（W1）を活用します。この指標を適用することで、開発者は重要なテンソルにおけるドリフトを最小化する方法を見出しました。その結果、元の非量子化モデルに対してより高い忠実度を維持できるGGUFモデルが実現します。この改善は、圧縮モデルがフルサイズ相当のモデルにより近い振る舞いをするため、ローカル推論をより信頼性高く、そして能力の高いものにすることに直結します。
GGUFがコンシューマー向けハードウェアで大規模言語モデルを動かすための基盤フォーマットである、ローカルAIコミュニティにとって、この開発は重要です。量子化モデルの品質と安定性を高めることは、ローカル推論における中核的な課題を直接解決します。これにより、Qwen 3.6のような先進的なオープンウェイトモデルが、創作の文章執筆から複雑なコーディング作業まで、さまざまな用途においてより頑健で、信頼できるものになります。
コメント：テンソルドリフトは、多くの量子化モデルで潜在的な問題になっており、実世界での有効性を下げていました。GGUFにおいてssm_conv1dテンソルを安定化させるためにワッサースタイン距離を使うのは、賢い修正で、今後のローカル推論モデルの品質を大きく改善し、信頼性を大幅に高める可能性があります。
