MM-StanceDet：検索拡張型マルチモーダル・マルチエージェントによる態度（スタンス）検出

Abstract

マルチモーダル立場検出（MSD）は公共の言説を理解するうえで重要ですが、特に互いに矛盾する信号がある場合に、テキストと画像を効果的に融合することは依然として困難です。既存手法は、文脈に基づく根拠づけ、クロスモーダル解釈の曖昧さ、単一パス推論の脆さといった点でしばしば課題に直面します。これに対処するために、我々は、文脈に基づく根拠づけのためのRetrieval Augmentation（検索拡張）、きめ細かな解釈のための特化したマルチモーダル分析エージェント、視点を探るための推論強化ディベート段階、そして頑健な判断のための自己反省を統合した、新しいマルチエージェント枠組みであるRetrieval-Augmented Multi-modal Multi-agent Stance Detection（MM-StanceDet）を提案します。5つのデータセットに対する大規模な実験の結果、MM-StanceDetは最先端のベースラインを大幅に上回り、複雑なマルチモーダル立場課題に対処するうえでの、マルチエージェント型アーキテクチャと構造化された推論段階の有効性が検証されました。