パス制約付きエキスパート混成モデル

要約：
スパース・ミクスチャー・オブ・エキスパート（MoE）アーキテクチャは、各入力ごとにパラメータの一部のみを活性化することで、効率的なスケーリングを実現します。
しかし、従来のMoEルーティングは各レイヤーのエキスパートを独立に選択するため、N^L 個のエキスパートパスを生成します。N 個のエキスパートが L 層にまたがっているためです。
これは典型的な訓練データセットのサイズをはるかに超えるため、統計的な非効率性を招きます。モデルはこのような膨大なパス空間から意味のある構造を学習できない可能性があります。
それを制約するために、連続する層間でルーターパラメータを共有する \pathmoe を提案します。
0.9B および 16B パラメータモデルを対象とした実験は、独立したルーティングに対して困惑度と下流タスクで一貫した改善を示し、補助的なロードバランシング損失の必要性を排除します。
分析によれば、同じパスに従うトークンは自然と言語機能別にクラスター化され、\pathmoe{} はより集約されたグループを生み出し、層間の一貫性が高まり、ルーティングの摂動に対する耐性も高まります。
これらの結果は、エキスパートパスの視点から MoE アーキテクチャを理解する新しい観点を提供します。