FMAオーケストレーションによる専門家混合（MoE）におけるコスト罰則付き適応度：ドメイン適応における分子記憶の実験的証拠

arXiv cs.LG / 2026/4/2

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、ダイナミックなMixture-of-Experts（MoE）の専門家管理により、データ分布の変化に対してフル容量で対応する、Free-Market Algorithm（FMA）オーケストレーション型トランスフォーマ「nanoFMT」に関する制御実験を報告している。
新たに生成された専門家に対して線形のグレース期間を設け、コスト罰則付き適応度を用いることで、頻繁な専門家の入れ替えではなく、多様化によってモデルがドメインの知識を蓄積できることを見出している。
往復（ラウンドトリップ）のドメインシフト試験では、以前に学習したドメインへ戻る際に、専門家の新規誕生や置換を必要とせずに、回復が9〜11倍速いことを達成している。
著者らはこの挙動を「分子記憶（molecular memory）」と呼び、既存のMoE管理戦略と異なり、休眠状態の専門家が保持され、元のドメインが再出現すると再活性化されると主張している。
予備的なコスト／エネルギー分析により、中程度のシナリオにおいてOpenAI規模の提供者で、年あたり最大39.1百万ドルの節約と、27.1GWhのエネルギー削減の可能性が見積もられている。