認知バイアスが絡む中国のショート動画型誤情報に対するマルチモーダル大規模言語モデルの検証

Abstract

短編動画プラットフォームは、誤情報の主要なチャネルとなっており、欺瞞的な主張が視覚的な実験やソーシャル・キュー（手がかり）を頻繁に活用しています。マルチモーダル大規模言語モデル（MLLMs）は優れた推論能力を示しているものの、認知バイアスと絡み合った誤情報に対する頑健性は、十分に検討されていません。本論文では、4つのヘルス分野にまたがる200本の短編動画からなる高品質な手作業アノテーション付きデータセットを用いた、包括的な評価フレームワークを提案します。このデータセットは、3つの欺瞞パターン――実験上の誤り、論理の誤謬、捏造された主張――それぞれに対して、国家基準や学術文献などの根拠によって裏付けられたきめ細かなアノテーションを提供します。5つのモダリティ設定において、最先端のMLLMを8モデル評価します。実験結果は、Gemini-2.5-Proがマルチモーダル設定で最も高い性能を達成し（信念スコア 71.5/100）、一方でo3が最も低く（35.2）なったことを示しています。さらに、動画内で誤った信念を誘発するソーシャル・キューを調査し、モデルが権威あるチャンネルIDのようなバイアスに影響を受けやすいことを見出します。