MoEルーティング・テストベッド：小規模における専門家の特化とルーティング挙動の研究
arXiv cs.LG / 2026/4/9
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、現実的なデータとドメインが異なるデータ混合を用いて、小規模における疎なMixture-of-Experts（MoE）のルーティングダイナミクスを研究するためのMoEルーティング・テストベッドを紹介する。
- 「理想的」な処方を行う参照ルータを用い、それによって測定可能な上限（upper bound）を作り出すことで、専門家の特化をより明確に定量化できるようにする。
- 本研究では、専門家の利用率を高いまま維持しつつ意味のある特化を達成するには、ルーティングの「バランス範囲（balancing scope）」が重要な要因であることを見出す。
- 著者らは、テストベッドで観測されたルーティングの知見が、35倍の大規模モデルとして報告されているものを含む、はるかに大きいモデルにも一般化できることを示す。
- 本研究は、確立された指標の不足と、小規模においてはルーティング手法が似て見えてしまい、大規模での挙動を予測できない可能性がある点に対処することを目的としている。
