専門家のアップサイクリング：Mixture-of-Expertsの計算効率フロンティアを押し広げる

要旨: Mixture-of-Experts（MoE）は、大規模言語モデルをスケールするための支配的なアーキテクチャとなっています。最先端のモデルでは、疎なエキスパート経路探索によって、総パラメータ数をトークンあたり計算量から日常的に切り離すことが行われています。スケーリング則は、アクティブ計算が固定されている場合、モデル品質は総パラメータ数に対して予測可能な形で向上し、MoEはエキスパート数を増やすことでこれを実現します。しかし、大規模MoEの学習は高コストです。メモリ要求とデバイス間通信の両方が、総パラメータ数にスケールするためです。そこで本論文では、継続事前学習（CPT）中にエキスパート数を増やすことで、MoE能力を段階的に拡張する方法である「エキスパート・アップサイクリング（expert upcycling）」を提案します。訓練済みのEエキスパート・モデルが与えられたとき、アップサイクリング演算子は、トップKの経路探索を固定したまま、エキスパートの複製とルータの拡張によって、mEエキスパート・モデルを構築します。これにより、トークンあたりの推論コストは保持されます。複製はウォーム・スタート（温かい初期化）を提供します。拡張されたモデルは、ランダム初期化からではなく、ソースのチェックポイントが学習した表現を継承し、実質的に低い損失から開始できます。その後続くCPTでは、複製されたエキスパート間の対称性が破られ、専門化が促進されます。本論文では、アップサイクリング演算子を形式化し、品質ギャップを「能力（capacity）項」と「初期化（initialization）項」に分解する理論的枠組みを開発します。さらに、勾配ベースの重要度スコアを用いて非一様な複製を導く、ユーティリティに基づくエキスパート選択も導入します。これは、CPTが制限されている場合に、ギャップの閉じ方を3倍以上に改善します。総パラメータが7B〜13Bの実験では、アップサイクリングされたモデルは検証損失において固定サイズのベースラインと同等の性能を達成しつつ、GPU時間を32%節約しました。モデル規模、活性化比率、MoEアーキテクチャ、訓練予算にわたる包括的なアブレーションにより、エキスパート・アップサイクリングを実運用するための実用的なレシピが得られました。これは、大規模MoEモデルを最初から学習するのではなく、原理に基づき、計算効率の高い代替案として確立されます。