MoE-GRPO：視覚言語モデルにおける強化学習でMixture-of-Expertsを最適化する

Abstract

Mixture-of-Experts（MoE）は、高いモデル能力を維持しつつ、各トークンごとにパラメータの一部のみを疎に活性化することで、Transformerアーキテクチャの計算オーバーヘッドを削減する効果的なアプローチとして注目されています。このパラダイムは最近、Vision-Language Models（VLMs）にも拡張され、計算コストを抑えたままスケーラブルなマルチモーダル理解を可能にしています。しかし、広く採用されている決定論的なtop-Kルーティング機構は、より最適なエキスパートの組み合わせを見落とす可能性があり、エキスパートの過学習につながり得ます。 この制約に対処し、エキスパート選択の多様性を改善するために、本研究ではMoE-GRPOを提案します。MoEベースVLMにおけるエキスパート・ルーティングを最適化するための、強化学習（RL）に基づくフレームワークです。具体的には、エキスパート選択を逐次意思決定問題として定式化し、Group Relative Policy Optimization（GRPO）を用いて最適化します。これにより、探索と報酬に基づくフィードバックを通じて、モデルが適応的なエキスパート・ルーティング方策を学習できるようにします。さらに、モダリティに応じたルータ誘導を導入します。これは、特定のモダリティに対して頻繁に活性化されないエキスパートを探索することを抑制することで、学習の安定性と効率を高めます。 マルチモーダル画像および動画のベンチマークに対する大規模な実験の結果、MoE-GRPOは、多様性の高いエキスパート選択を促進することで、標準的なtop-Kルーティングおよびその派生手法を一貫して上回り、エキスパートの過学習を緩和し、タスクレベルでのエキスパート特化を可能にすることが示されました。