AIMER: キャリブレーション不要のタスク非依存MoEプルーニング

Abstract

Mixture-of-Experts (MoE) 言語モデルは、パラメータ容量を比例して増やす一方で、トークンごとの計算量は比例して増えません。しかしデプロイメントには依然として全エキスパートを保存する必要があり、メモリとサービングオーバーヘッドを削減するためにはエキスパートプルーニングが重要です。既存のタスク非依存エキスパートプルーニング手法は通常キャリブレーション依存的であり、キャリブレーションセット上のルーティングや活性化統計からエキスパートの重要性を推定するため、キャリブレーションセットの選択に敏感になり、前処理コストが大幅に増加します。私たちは AIMER (\textbf{A}bsolute mean over root mean square \textbf{IM}portance for \textbf{E}xpert \textbf{R}anking) を導入します。キャリブレーション不要のシンプルな基準で、層内のスコア分離を明確にし、エキスパートの階層化を際立たせます。7B から 30B の MoE 言語モデルを 16 ベンチマークにまたがって、25% および 50% のプルーニング比で、AIMER は最先端のキャリブレーションベースのエキスパートプルーニングのベースラインに対し、一貫して競争力のある、またはそれ以上の全体的な性能を提供し、エキスパートのスコアリングにはわずか 0.22〜1.27 秒しかかかりません。