QA-MoE: 質の高いMixture of Expertsによる品質対応の連続的信頼性スペクトラムを目指して—ロバストなマルチモーダル感情分析

概要: マルチモーダル感情分析（MSA）は、テキスト、音響、視覚の信号から人間の感情を推定することを目的としています。しかし現実のシナリオでは、マルチモーダル入力はしばしば動的な雑音やモダリティ欠落によって損なわれます。既存の手法では、こうした欠点を離散的なケースとして扱うことが多いか、固定された破損（コラプト）比率を仮定しており、そのため連続的に変化する信頼性条件への適応性が制限されています。これに対処するために、まず、欠落と品質劣化を単一の枠組みに統一する「連続的信頼性スペクトラム」を導入します。さらにこれを基に、自己教師ありのアレアトリック不確実性によってモダリティ信頼性を定量化する、品質認識型ミクスチャ・オブ・エキスパーツ（QA-MoE）を提案します。この仕組みは、エキスパートのルーティングを明示的に導き、信頼できない信号からの誤りの伝播を抑制しつつ、タスクに関連する情報を保持できるようにします。大規模な実験の結果、QA-MoEは多様な劣化シナリオにおいて競争力のある、あるいは最先端の性能を達成し、さらに実運用上「1チェックポイントで全対応（One-Checkpoint-for-All）」という有望な性質を示すことが確認されました。