MISID: 戦略的欺瞞ゲームにおける複雑な意図認識のためのマルチモーダル・マルチターン・データセット

要旨: 複雑なマルチターンのやり取りにおける人間の意図を理解することは、人間—コンピュータ相互作用および行動分析において根本的な課題であり続けています。既存の意図認識データセットは主に単一の発話、または単純な対話に焦点を当てていますが、実世界の状況では、参加者が長期間にわたり複雑な欺瞞の物語を維持しなければならないような、洗練された戦略的相互作用がしばしば見られます。このギャップに対処するため、私たちは意図認識のための包括的なマルチモーダル、マルチターン、かつマルチ参加者ベンチマークであるMISIDを提案します。ハイステークスなソーシャル戦略ゲームから収集したMISIDは、長文脈談話分析とエビデンスに基づく因果トラッキングに合わせて設計された、きめの細かい二層の多次元注釈スキームを備えています。MISIDに対して最先端のマルチモーダル大規模言語モデル（MLLM）を体系的に評価したところ、テキスト優先の視覚的幻覚、モーダル間の相乗効果の低下、因果的手がかりの連鎖に対する能力の限界といった、複雑なシナリオにおける重大な欠点が明らかになりました。そこで、私たちはベースライン枠組みとしてFRACTAMを提案します。\`\`Decouple-Anchor-Reason\`\`パラダイムを用いることで、FRACTAMは純粋な単一モダリティの事実表現を抽出しテキストバイアスを低減し、長距離の事実アンカーに対して二段階の検索を採用し、明示的なクロスモーダルのエビデンス連鎖を構築します。大規模な実験により、FRACTAMは複雑な戦略タスクにおいて主流モデルの性能を向上させ、頑健な知覚精度を維持しながら、隠れた意図の検出と推論を改善することが示されます。データセットはhttps://naislab.cn/datasets/MISIDで公開しています。