休眠するエキスパートを呼び起こす：MoEの幻覚を抑えるカウンターファクト・ルーティング
arXiv cs.LG / 2026/4/17
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- スパースMixture-of-Experts（MoE）モデルは、長尾の知識を扱う際に幻覚が起きやすく、論文では原因を静的なTop-kルーティングが高頻度パターンを優先し、まれだが重要な関連を見落とす点にあると示しています。
- 著者らは、層ごとの摂動解析とCounterfactual Expert Impact（CEI）指標を用いる「Counterfactual Routing（CoR）」という、学習なし（training-free）の推論手法を提案しています。
- CoRはバーチャルなアブレーション（仮想的な除去）により文法（構文）優位な経路を弱め、知識集約的な層へ計算資源を振り向けることで、低いゲーティングスコアで「休眠」していた専門エキスパートを活性化します。
- TruthfulQA、FACTOR、TriviaQAでの実験では、CoRにより平均3.1%の事実性精度向上が確認され、推論予算（計算量）を増やさずにより良い精度–計算量のトレードオフ（パレート最前線）を実現しています。
- この研究は、MoEの幻覚対策を推論時の追加で実現でき、再学習やモデル再設計を必須としない実用的な方向性を示唆しています。
