補完性監督付きスペクトル帯域ルーティングによる多モーダル感情認識

要約: マルチモーダル感情認識は、テキスト、動画、音声などの手掛かりを統合して個々の感情状態を理解します。従来の手法には2つの主な制約があります。1つは独立したユニモーダリティの性能に機械的に依存してしまい、真の補完的寄与を見逃すこと、もう1つは感情タスクで要求される細粒度の表現と衝突する粗粒度の融合です。異種モダリティ間で情報密度が一様でないことがモダリティ間特徴の探索を妨げるため、Complementarity-Supervised Multi-Band Expert Network（Atsuko）を提案します。具体的には、各モダリティの特徴を直交分解して高周波成分・中周波成分・低周波成分に分解します。このバンドレベルのルーティングを基盤として、細粒度のクロスバンド選択とクロスモーダル融合を実現するデュアルパス機構を備えたモダリティレベルのルータを設計します。支配的なモダリティから生じるショートカット学習を緩和するため、双模態比較を用いて各モダリティを除去した場合の性能低下を定量化する Marginal Complementarity Module（MCM）を提案します。得られた補完性の分布はソフトな監督を提供し、ルータが独自の情報利得をもたらすモダリティに焦点を合わせるよう導きます。大規模な実験により、提案手法がCMU-MOSI、CMU-MOSEI、CH-SIMS、CH-SIMSv2、MIntRecのベンチマークで優れた性能を達成することを示しました。