Alloc-MoE：効率的なMixture-of-Experts推論のための予算に応じたエキスパート活性化割り当て

要旨: Mixture-of-Experts（MoE）は、疎な活性化メカニズムにより大規模言語モデルをスケールするための支配的なアーキテクチャとなっています。しかし、エキスパートの活性化（expert activations）が膨大な数にのぼるため、推論時には特にリソースが制約されたデプロイ環境において、重要なレイテンシのボトルネックが生じます。エキスパートの活性化数を減らす既存の手法は、潜在的に深刻なモデル性能の劣化につながり得ます。本研究では、エキスパートの活性化数に対する制約として\\emph{activation budget（活性化予算）}の概念を導入し、性能劣化を最小化するために層レベルとトークンレベルの両方で予算配分を協調的に最適化する統一フレームワークAlloc-MoEを提案します。層レベルでは、感度プロファイリングと動的計画法を活用して、層をまたいだエキスパート活性化の最適配分を決定するAlloc-Lを導入します。トークンレベルでは、ルーティングスコアに基づいて活性化を動的に再配分するAlloc-Tを提案し、レイテンシを増やすことなく予算配分を最適化します。複数のMoEモデルに対する大規模な実験により、Alloc-MoEは制約された活性化予算のもとでもモデル性能を維持できることを示します。とりわけ、Alloc-MoEはDeepSeek-V2-Liteにおいて、元の予算の半分で1.15\timesのprefill速度および1.34\timesのdecode速度の向上を達成します。