Mixture-of-Experts（MoE）Transformerにおける一般化とスケーリング則

要約: 本論文では、Mixture-of-Experts（MoE）Transformer に対する一般化とスケーリングの理論を構築し、入力ごとの
\emph{アクティブ} 容量とルーティングの組合せ論（combinatorics）をきれいに分離する。固定されたルーティング・パターンに条件付けし、それらに対して和を取る（union-bound）ことで、シュープ規範（sup-norm）の被覆数に関する上界を導き、そのメトリックエントロピーはアクティブなパラメータ予算に応じてスケールし、さらに MoE 特有のルーティング・オーバーヘッドを伴う。二乗損失に対する標準的な ERM（経験リスク最小化）の解析と組み合わせることで、d 次元の多様体データモデルおよび C^\beta なターゲットの下での一般化境界を得る。これにより、密なネットワークの場合と同様に、近似と推定のトレードオフが、アクティブなパラメータを適切に考慮すれば再現されることを示す。さらに、MoE アーキテクチャに対する構成的な近似定理を証明し、近似構成の下では、支配的なボトルネックに応じて、アクティブ容量をスケールすること、あるいはエキスパートの数を増やすことのいずれによっても誤差が減少し得ることを示す。これらの結果から、モデルサイズ、データサイズ、そして計算（compute）最適なトレードオフに関するニューラル・スケーリング法則を導出する。全体として、本研究は MoE スケーリングを考察するための、明確で透明な統計的な基準点を提供し、どの挙動が最悪ケースの理論によって保証されるのか、そしてどの挙動がデータに依存したルーティング構造や最適化ダイナミクスから生じる必要があるのかを明確化する。