Symbiotic-MoE: 生成と理解の相乗効果を解き明かす

要旨: 画像生成によって大規模マルチモーダルモデル（LMMs）を強化することは、多くの場合、重度の勾配競合によりタスク理解において壊滅的忘却を引き起こします。Mixture-of-Transformers（MoT）のような既存のパラダイムは、構造的な隔離によってこの競合を軽減しますが、本質的にはクロスモーダルの相乗効果を断ち切ってしまい、さらに能力が断片化するという問題があります。本研究では、パラメータ増加ゼロのオーバーヘッドでネイティブなマルチモーダルMixture-of-Experts（MoE）Transformerアーキテクチャ内のタスク干渉を解消する統一的な事前学習フレームワーク「Symbiotic-MoE」を提案します。まず、標準的なMoEのチューニングでは、生成的勾配が専門家（expert）の利用を支配することでルーティングが崩壊することを突き止めます。これに対処するため、Modality-Aware Expert Disentanglement（モダリティ認識の専門家非分離）を導入し、専門家をタスク固有のグループに分割しつつ、共有専門家をマルチモーダルな意味的ブリッジとして利用します。重要なのは、この設計によって共有専門家が生成タスクから微細な視覚的意味論を吸収し、それによってテキスト表現を豊かにできる点です。さらに最適化のために、差分学習率と初期段階での勾配シールドを備えたProgressive Training Strategy（漸進的学習戦略）を提案します。この機構は、事前学習された知識を初期の不安定さから保護するだけでなく、最終的には生成的シグナルを理解のための建設的なフィードバックへと変換します。広範な実験の結果、Symbiotic-MoEは急速な生成収束を達成しつつ、クロスモーダルの相乗効果を解き放ち、MMLUおよびOCRBenchにおける顕著な向上によって内在的な理解力を大きく押し上げることが示されました。