Qwen3.6-35B-A3B-UD-IQ4_XS の C++→Rust コード移植テスト：概ね成功！

Qwen3.6-35B-A3Bがリリースされてから約1週間ほどが経ちましたが、正直、前のQwen3.5モデルに対する反復的な改良が入ってくるのかな、とどこか期待していました。というのも、これらのモデルは、私がこれまで試してきたこれまでのローカルモデルと比べるとかなり出来が良かったですし、またQwen3.5は私がローカルモデルのテストに使っている、わりと退屈なThreeJSの課題でもよくやっていました。ところが、Qwen3.6はそのモデルで数分のデバッグが必要だったところを、だいたい1分でやってのけました。すぐに、これは前のモデルより何というか“頭の良さ”が明らかに段違いだと気づきました。実際、これまで私が試してきた他のどのローカルモデルよりも、私が試そうとしているクラウドモデルにずっと近い感触です。Gemma 4が最も近いものの、それでも、私がLLMにやらせている課題においては、より洞察のある計画が少ないように見え、エラー率も全体的に高いようでした。しかもこれは疎（sparse）モデルなので、私の印象では大幅に質の高い出力をしながら、実行速度は何倍も速いという点も無視できません。さらに、いくつかの複雑なコードベースを調べて探索し、要約させてみたのですが、わずか1〜2分で、私が求めていた内容についての詳細なレポートを返してきました。なので「このモデルには、私のクソみたいなヘビ（snake）テストでは本当に足りないのでは」と感じ、C++のプロジェクトをRustに移植することにしました。正直、このC++プロジェクトはかなり気に入っているんです。

ずっと前から、OddVoicesをもう少しユーザーフレンドリーな形にパッケージ化したいと思っていました。背景として、これはざっくり言うとVocaloidやUTAUの“かなりマイナーな”オープンソース代替です。私は最近RustでVST3オーディオプラグインを書くことも試していて、NIH-Plugやeguiがあれば、ほぼ取るに足らない作業です。そこで、liboddvoicesコードをRustに移植して、OddVoicesをプラグイン、あるいは何らかのグラフィカルなプログラムにすることで、先に一歩進められるのではと考えました。さらに言えば、それはこの新しいQwenモデルにとって完璧なテストになるはずです。正直、あまり遠くない過去のいくつかのクラウドモデルなら、こういうことは惨憺たる結果になっていたと思います。なので、ローカルモデルがこうしたことを“試みる”こと自体がどれほど異常（ワイルド）なのか、察しがつくと思います。

で、実際に“試みて”くれました。そして（たいてい）成功したので共有したいです。移植で作られたものにはいくつか軽微なバグがあり、速度にわずかな影響を与えたり、特定のサウンドで問題が出たりして、たまにピークが発生します。しかし、元のコードとほぼ同一に聞こえます。コードが動いている最中に出力を手動で確認し、音の特定の側面がうまく機能していない場合は、参照すべきC++実装に誘導しました。あいまいな指示で「参照すべき正しいコードの箇所」を見つけただけでなく、自分の実装が原因だと分かったときにはそれを修正し、元のコードから学んだ内容に基づいて更新までしてくれました。もちろん、コード移植の目的は元の実装をコピーすることですが、より大きなLLMですら、細部はテストで表面化するまで雑に流しがちです。それでも、この小さなモデルは、ずっと大きいクラウドモデルにほぼ匹敵するレベルです。もしこれがHaikuの新しい改訂版だと言われたら、たぶん信じてしまうでしょう。

現在のRust移植版の出力波形（元のC++ liboddvoicesエンジンとの比較）

もちろん、先ほど挙げた問題点は、追加のテストで修正できます。ただ、あなたにこの成果を聞いてほしかったんです。2晩かけた合計の開発時間で約5時間ほどで、これを達成しました。このモデルは、Stable Diffusion 1.4がDall-E 2に対してそうだったように感じます。ローカルでも同等、場合によっては巨大なクラウドモデルより良いことがあり得る。私はこの1週間ほど、主にこのモデルのおかげでオールローカルのワークフローを使っていますが、これとずっと大きなモデルの間に大きな違いは特に感じていません。

なので、要するにこういうことです。これは本当にすごい。こんなに良いものが、しかもこんな速度で自分のPCで動くなんて、私は絶対に思いませんでした。もしこのモデルとGemma 4をまだ見ていないなら、ぜひ両方チェックしてみてください。皆が言っている通り、Gemma 4は会話系のタスクにおける“総合力”が高く、そしてQwen3.6はエージェント的なコーディングにおいて特に秀逸です。

人がよく「何を使っているのか」を聞いてくるのと、実際に必要なものを全部ローカルで動かそうとしてみたので、ここでは私が使っているものをまとめます：

Backend: Ooba's TextGen - Llama.cppや他のいくつかの人気バックエンドのための、まともなポータブルラッパーです。他のホスティング手段と比べて、UXが良いと思いますし、同梱されているチャットインターフェースもなかなか良いです。

Agent/Editor: Cline + VSCodium - VSCodiumはMicrosofｔ系のクソ（Microslop BS）を全部剥ぎ取ってくれます。一方でClineは、ローカルモデルもクラウドモデルも簡単に接続できる、実力のあるFOSSのエージェント拡張機能を提供してくれます。

MCP: Grounded Docs MCP + Granite-Embedding-278m-multilingual + KoboldCpp - これはContext7の、私が思いつけた中で最もエレガントなローカル置き換えです。これにOobaを使うこともできますが、KoboldCppの方がずっとスクリプトしやすいです。というのも、単一のバイナリファイルだからです。GPUで埋め込みモデルを動かしてドキュメントのインデックスをより高速に作り、その後GPUがメインモデルで占有されているときはCPUで通常のクエリを実行できます。これは基本的に、組み込みのWebスクレイパーを備えたクラシックなRAGシステムです。これにより、外部依存が多い複雑なプロジェクトに取り組むのが、特に限られた世界知識しかない小さめのモデルにおいて、かなり現実的になります。Context7は手間いらずのクラウド代替ですが、開発環境の重要な柱の1つが専有のクラウドサービスであるなら、それは本当に“ローカル”と言えるのでしょうか？

もしこのサイズのローカルモデルにおける新しいベースラインができたのだとしたら、今後どんな未来のモデルができるのかを見られるのがかなり楽しみです。私はまだ、このモデルができることの限界に到達していない気がします。ほかのモデルでは、そういう感覚はこれまであまり持てなかったので、その点でも新鮮です。