 | 27B Dense vs. 35B-A3B MoE): - Denseは依然として王者の座を維持：依然として、全体としてはほとんどのタスクで勝っています。 - ギャップが縮まりつつある：10個中7つのベンチマークで、MoEモデルがひそかに伸びて距離を詰めています。 - コーディングが大幅にブーストされている：MoEがここでかなり進歩しています。たとえば、denseモデルのSWE-bench Multilingualベンチマークでのリードは、+9.0からわずか+4.1へと低下しました。 - 唯一の変わり種の外れ：Terminal-Bench 2.0。理由はともかく、denseモデルがここで完全に抜け出し、リードを+1.1からとてつもない+7.8まで広げました。 TL;DR：技術的にはDenseの方がまだ優れていますが、MoEが急速に追いついています——特にコーディングで。24GBのVRAMで動かしていて、大きなコンテキストウィンドウが欲しいなら、MoEのトレードオフは今のところこれまで以上に魅力的に見えます。 ご意見は？ MoEで256kコンテキストをまだ試した人いますか？ 詳細は以下。 リンク先でさらに詳しく：https://x.com/i/status/2047004358500614152 [link] [comments] |
3.6〜27Bのリリースで「Dense vs MoE」の差が急速に縮小
Reddit r/LocalLLaMA / 2026/4/23
💬 オピニオンSignals & Early TrendsTools & Practical UsageModels & Research
要点
- この記事では、最近の3.6〜27Bリリースによって、DenseモデルとMoE（Mixture-of-Experts）の性能差が急速に縮まっていると主張しています。
- 多くの評価ではMoEが追い上げて距離を縮めているものの、全体としてはDenseモデルが依然として多くのタスクでリードしているとされています。
- MoEは特にコーディング系のベンチマークで大きな伸びを見せており、SWE-bench MultilingualにおけるDenseモデルの優位が大幅に縮小した例が挙げられています。
- 目立った例外としてTerminal-Bench 2.0ではDenseモデルのリードが大きく広がる点が示されています。
- 約24GBのVRAMに制約があり、非常に大きなコンテキストウィンドウを求める場合、報告されている結果ではMoEの選択がより魅力的になってきていると述べられています。
