Self-Routing：隠れ状態からのパラメータ不要なエキスパートルーティング

要旨: Mixture-of-Experts（MoE）層は、トークンごとに専門家（expert）のごく一部だけを有効化することでモデルの容量を増やし、一般に学習されたルータが隠れ状態（hidden states）を専門家の割り当てへ写像することに依存しています。本研究では、私たちが対象とするMoE設定において、専用の学習ルータが厳密に必要なのかどうかを問いかけます。私たちはSelf-Routing（自己ルーティング）を提案します。これはパラメータ不要のルーティング機構で、トークンの隠れ状態の指定された部分空間（subspace）をそのまま専門家のロジットとして用います。これにより、ルータの射影（projection）を完全に排除しつつ、MoE層の残りは変更せずに維持します。私たちは、GPT-2規模の言語モデリングおよびImageNet-1K分類において、標準的な学習ルータと比較し、ランダムルーティングのベースライン、ならびにMoEではない密（dense）のベースラインとも比較することで、Self-Routingを評価します。その結果、Self-Routingは、学習ルータのベースラインと同等に競争力がある一方で、専用のルーティングパラメータをすべて除去でき、専門家の利用がよりバランスよくなっていることが示されました。具体的には、平均の正規化ルーティングエントロピーが約17%高く、明示的な負荷分散（load-balancing）損失はありません。DeiT-S/16を用いたImageNet-1Kにおいても、Self-Routingは対応する学習ルータMoEよりわずかに改善します。これらの知見は、別個の学習ルータモジュールを必要とせずとも、MoEの効果的なルーティングが隠れ表現そのものから生じ得ることを示唆しています。