最近、たくさんのMOEが出てきているのを見てきました。これらは速度面では驚異的な仕事をしますが、コヒーレンス面で代償を払うことになります……少なくともMOEが1トークンあたりアクティブな重み（アクティブ-per-token）を10b以上持っていない限り。
私はこれらのモデルでよくコードを書いていて、いろいろな別のモデルも試してきましたが、直近で見つけたのは次のものです：
qwen3-coder-next, qwen3.5-35b, qwen3.6-35b
そして、qwen3.5-27bで私が目撃したレベルの安定性には、どれも全く及びません。qwen3.6-35b-A3bでさえも??
一方で、A3bのMOEはその問題を解決できますが、彼はしばしば手取り足取りが必要で、マルチターンの誘導（ステアリング）が必要です。A3bは、彼が直そうとしている問題には当てはまらないのに、Coding Harnessで利用可能なツールを使おうとすることが多いです。なので、27bなら直感的に無関係なツールなどをうまく無視するのに対して、私は彼の注意を保つために、いくつかのツールを手動で無効化しなければならないことがよくあります。これは単なる一例です。しかし、次にモデルが何を選ぶかのばらつきは、27bのdenseに比べて、アクティブ35b-A3bだと非常に大きく変動します。MOEは使いたいのですが、私のエージェント的なワークフローの中で、どこに配置すればよいか、うまく見つけられずにいます。
編集：英語は難しい。けど、言いたいことは伝わるよね？少なくとも、これはボット用のアカウントじゃないっていう証拠として、タイプミスはそのままにしておきます。笑
[link] [comments]
