MoEにおけるエキスパート専門化神話：ルーティングは領域専門性というより幾何学を反映する理由

要旨: Mixture of Experts（MoE）は大規模言語モデルで今や一般的ですが、「エキスパートの専門化」がどのように生じるのかという仕組みは、いまだ十分に理解されていません。本研究では、MoEルータが線形写像であることから、隠れ状態の類似性がエキスパートの使用の類似性を説明するのに必要かつ十分であることを示します。したがって、専門化はルーティング・アーキテクチャそのものではなく、表現空間における創発的な性質です。さらに、5つの事前学習済みモデルにおいて、トークンレベルとシーケンスレベルの両方でこれを確認します。加えて、負荷分散損失が、ルーティング多様性を維持するために共有の隠れ状態の方向性を抑制することを証明します。これは、多様性の低いデータ、たとえば小さなバッチのもとで生じる専門化の崩壊を理論的に説明する可能性があります。このように明快なメカニズムの説明にもかかわらず、事前学習済みMoEにおける専門化パターンは、人間が解釈することに抵抗を示すことが分かりました。同じ質問に答える異なるモデル間のエキスパートの重なりは、まったく異なる質問間の重なりよりも高くならず（  約60%）、プロンプトレベルのルーティングはロールアウトレベルのルーティングを予測しません。また、より深い層では、意味的に無関係な入力に対しても、推論モデルにおいて特に、ほぼ同一のエキスパート活性が観測されます。以上より、MoEの効率性の観点はよく理解されている一方で、エキスパートの専門化を理解することは、少なくともLLMの隠れ状態の幾何学を理解するのと同程度に難しく、文献における長年の未解決課題であると結論づけます。