 | OpenCodeを使って各LLMに対して2つのテストを行い、基本的な準備状況と使いやすさを確認しました： - GolangでIndexNow CLIを作成（簡単なタスク） - SiteStructure Strategyに従ってWebサイトのMigration Mapを作成。（複雑なタスク） Qwen 3.5、& 3.6、Gemma 4、Nemotron 3、GLM-4.7 Flash、そしていくつかの他のLLMをテストしました。 使用したコンテキストサイズ：25k-50k（タスクやモデルによって異なります）。 結果は以下の表にあります。正確なquant名のほとんどは速度テストの表に記載されています。 お役に立てれば幸いです。 --- v2では、次のテストを追加しました： - Qwen 3.6 35b q3 と q4 => 結果は想定より悪かったです - Qwen 3 Coder Next => とても良い結果 - そして Qwen 3.5 27b q3 Bartowsky => 残念でした これらのセルフホストLLMの多くの速度は、RTX 4080（16GB VRAM）上では以下でした（各モデルがどれくらい速い／遅いかの目安として）。 推奨のtemp、top-p、その他のパラメータで、メモリとレイヤーのパラメータはデフォルトを使用しました。これらを微調整すれば、速度が少し改善するかもしれません。あるいは「少し」以上に :) 今回のテスト反復からの所感： - Qwen 3.5 27bは、かなり良いLLM（Unthloth's quants）で、私の環境のハードウェアにちょうど合っています。 - Qwen3 Coder Nextは、Qwen 3.5と3.6 35bよりも優れています。 - Qwen 3.5と3.6 35bは良いのですが、私のタスクには十分ではありません。 - Gemma 4の26bと31bの両方も非常に良い結果でしたが、16GB VRAMでセルフホストする場合は31b版が大きすぎます。 --- 各テストにおける、各LLMの挙動の詳細はこちら： https://www.glukhov.org/ai-devtools/opencode/llms-comparison/ [link] [comments] |
OpenCodeをセルフホストLLMで試した結果：Qwen 3.5/3.6、Gemma 4、Nemotron 3、GLM-4.7 Flash（v2）
Reddit r/LocalLLaMA / 2026/4/22
💬 オピニオンSignals & Early TrendsTools & Practical UsageModels & Research
要点
- 記事では、OpenCodeのワークフローについて複数のセルフホストLLMを対象に、簡単なコーディング課題と複雑なWebサイト移行マッピング課題の2種類の実地ベンチマークを報告している。
- 対象モデルはQwen 3.5/3.6、Gemma 4、Nemotron 3、GLM-4.7 Flashで、文脈長（コンテキスト長）はタスクやモデルにより概ね25k〜50kの範囲で設定された。
- RTX 4080（16GB VRAM）上でllama.cppを用い、主にデフォルトのメモリ/レイヤー設定で動作させたところ、多くのセルフホストモデルは想定より遅い一方、パラメータ調整で速度改善の余地があるとしている。
- v2では追加検証としてQwen 3.6 35Bの量子化バリアントが期待より悪い結果になった一方、Qwen 3 Coder Nextは非常に良好で、Qwen 3.5 27Bは落胆する結果だったと述べている。
- 著者の結論としては、Qwen 3.5 27Bは手元の環境に適しており、Gemma 4も好成績だが、Gemma 4 31Bのような大型版は16GB VRAMでのセルフホスティングでは現実的でない可能性がある。
