遅いほど速い：Qwen3 Coder NextからQwen3.5 122Bに切り替えた理由

https://preview.redd.it/jn22okg8elrg1.png?width=1024&format=png&auto=webp&s=49232d4474d8c7aa5d3f8f2e85f7dc8ba16abe78

約1週間、ローカル環境で Qwen3 Coder Next を動かしてみました。紙の上では数字がとても良かったです。プロンプト処理が約1000 t/s、生成が約37 t/s。私はRalph-styleのエージェント的なアプローチを使い、モデルがタスクを自律的に進める間は、人間側の関与は最小限にしていました。

問題は？バックエンドが常にクラッシュしていました。2時間ほど連続で安定して動いたときでさえ、実際の進捗はあまりにも遅い。私の実験プロジェクトは110のタスクに分割されていました。いい日でも、Qwen3 Coder Next がそのうち15個くらいしか片付けられません。別のバックエンドや別の設定でも試しましたが、結局同じでした。

そこで最終的にうんざりして、もう少し重いものを試すことにしました：Qwen3.5 122B。

スペックは明らかに悪いです。私のRTX 5070 TI + いわゆるポテトDDR4 96gb環境だと、プレフィルが約700 t/s、生成が17 t/s程度。ざっくり言えば、全体を通してスループットは半分くらいです。速度低下を体感するだろうとは思っていました。

でも実際に起きたことは予想を裏切りました。122Bモデルは、同じ時間でだいたい2倍の作業量を完了させていました。タスクはより多く進み、失敗は減り、見守りの手間も少なく済みます。バックエンドは安定したままで、出力に必要なリトライ回数も減り、コードの品質が高いので、修正のための行ったり来たりが少なくなりました。

こういう、直感に反するハードウェア／AIの学びの1つです。生のトークン速度は、現実世界のスループットとは一致しません。幻覚が増える、クラッシュが増える、コードが不安定になるような速いモデルは、節約できたトークン数以上に、最終的な時間を奪ってしまいます。

もしあなたのハードウェアで対応できるなら、複雑なエージェント的コーディングタスクには、122B+規模のモデルを試すことを本気でおすすめします。私のプロジェクトでは、その差が昼と夜ほどありました。