ルーティングフリー・ミクスチャー・オブ・エキスパート（Routing-Free Mixture-of-Experts）
arXiv cs.LG / 2026/4/2
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は「ルーティングフリー・ミクスチャー・オブ・エキスパート（MoE）」を提案し、ルータ、softmax、top‑k、ロードバランシングのヒューリスティックなどの集中型ルーティング要素を、完全にエキスパートローカルな活性化に置き換えることで削除する。
- エキスパート使用とトークン使用の両方の目的を、設定可能な補間により最適化する統一的で適応的なロードバランシングの枠組みを導入し、より柔軟なリソース割り当てを可能にする。
- この手法は、連続的な勾配フローによってエンドツーエンドで学習できるように設計されており、ハードコードされたルーティングのバイアスを設けずに、各エキスパートが自身の活性化挙動を学習できる。
- 実験では、ルーティングフリーMoEが、拡張性と頑健性の向上により既存のベースラインを上回れることが報告されており、さらに将来のMoE設計の指針となる詳細な行動（挙動）分析も示される。
- 本研究は、将来のMoE設計と最適化に関する知見を提供することを目的としており、専門家ベースのモデルを効率性と信頼性の観点からどのようにアーキテクトし、訓練するかに影響を与える可能性がある。
