EmoMM：対立と欠落下におけるマルチモーダル感情認識のためのMLLMベンチマークと制御

Abstract

マルチモーダル感情認識（MER）は、現実世界のやり取りを解釈するうえで重要である。マルチモーダル大規模言語モデル（MLLM）はMERにおける有望性を示してきたが、モダリティの競合や欠落がある場合の内部の意思決定メカニズムは、依然としてほとんど解明されていない。本論文では、これらの振る舞いを体系的に調査するために、モダリティ整合、競合、欠落の各サブセットを備えた包括的ベンチマークであるEmoMMを提案する。大規模な評価を通じて、Video Contribution Collapse（VCC）という現象を発見する。これは、トークン冗長性が高くモダリティの嗜好が強いために、MLLMが動画の根拠を周縁化するものである。これに対処するため、Conflict-aware Head-level Attention Steering（CHASE）を提案する。これは軽量な仕組みであり、モダリティ競合を検出し、再学習なしで推論時の注意（アテンション）を誘導する。これにより、バックボーンを再学習することなく意思決定の偏りを効果的に抑制する。実験結果は、CHASEがさまざまな設定において一貫して性能を向上させ、複雑な情動シナリオにおけるMLLMの信頼性を大幅に高めることを示している。