AffectAgent: 取得拡張マルチモーダル感情認識のための協調的マルチエージェント推論
arXiv cs.CV / 2026/4/15
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- AffectAgent は、幻覚（ハルシネーション）を抑え、モダリティ間での微妙な情動状態をより的確に捉えることを目的とした、取得拡張型マルチモーダル感情認識のためのマルチエージェント・フレームワークです。
- 本システムは、3つの専門化されたエージェント――クエリ・プランナー、エビデンス・フィルタ、感情ジェネレータ――を用い、モダリティ横断の根拠を取得し、それを評価したうえで感情予測を生成します。
- AffectAgent は、エージェント間の協調的推論を整合させるための共通の情動報酬を用いて、マルチエージェント・近接ポリシー最適化（MAPPO）によりエンドツーエンドで学習されます。
- Modality-Balancing Mixture of Experts（MB-MoE）を導入し、モダリティを動的に重み付けしてモダリティ間表現の不一致を緩和します。また、Retrieval-Augmented Adaptive Fusion（RAAF）により、あるモダリティが欠落している場合でも予測を改善します。
- MER-UniBench における実験では、AffectAgent が先行手法よりも強い性能を達成し、著者らはコードを公開する予定です。
