グループ・コグニション・ラーニング：統制された2段階エージェント協調であらゆるものをより良くする

要旨: 中央集権型のマルチモーダル学習では、言語・音響・視覚の信号を単一の融合表現に圧縮して予測に用いることが一般的です。これは有効である一方で、次の2つの制約があります。1つ目はモダリティ優位性で、最適化が最も抵抗の少ない経路へと引き寄せられ、情報を含むが弱いモダリティが無視されてしまう問題です。2つ目は見せかけのモダリティ結合で、モデルが偶発的なクロスモーダル相関に過適合してしまう問題です。これらに対処するため、モダリティ固有のエンコーディング後に2段階のプロトコルを適用する統制された協調パラダイムであるGroup Cognition Learning（GCL）を提案します。第1段階（選択的相互作用）では、ルーティング・エージェントが指向性のある相互作用経路を提案し、監査エージェントがサンプルごとのゲートを割り当てます。これにより、正の限界予測利得をもたらす交換を強調し、冗長な結合を抑制します。第2段階（コンセンサス形成）では、公開因子エージェントが明示的な共有因子を維持し、集約エージェントが、各モダリティ表現を専門化チャネルとして保持したまま、寄与を意識した重み付けにより最終予測を生成します。CMU-MOSI、CMU-MOSEI、MIntRecに対する大規模な実験により、GCLが優位性と結合を緩和し、回帰ベンチマークと分類ベンチマークの両方で最先端の結果を達成することが示されます。分析実験により、設計の有効性もさらに確認されています。