Chain of Modality：静的フュージョンからダイナミック・オーケストレーションへ——Omni-MLLMsにおける変遷

要旨: Omni-modal Large Language Models（Omni-MLLMs）は、多様な感覚ストリームを統一的に統合することを約束します。しかし、最近の評価では重要な性能パラドックスが明らかになっています。すなわち、単一モダリティのベースラインが、しばしば共同のマルチモーダル推論を上回るのです。私たちは、この知覚上の脆さが、現在のモデルで広く用いられている静的な融合トポロジに起因することを追跡し、2つの構造的病理を特定します。順次入力における位置バイアスと、インタリーブ形式におけるアラインメントの罠であり、これらはタスクの意味論に関わらず注意（attention）を体系的に歪めます。この機能的な硬直性を解決するために、私たちはChain of Modality（CoM）を提案します。CoMは、マルチモーダル融合を受動的な連結（concatenation）から動的なオーケストレーションへ移行させるエージェント的フレームワークです。CoMは入力トポロジを適応的にオーケストレートし、構造的バイアスを相殺するために、並列・順次・インタリーブの各経路を切り替えます。さらにCoMは、認知的実行を2つのタスク整合的な経路に分岐させます。直接知覚のための合理化された「Direct-Decide」経路と、分析的な監査のための構造化された「Reason-Decide」経路です。学習を前提としない設定、またはデータ効率の高いSFT設定のいずれでも、CoMは多様なベンチマークにわたり、頑健で一貫した汎化を達成します。