マルチモーダルな誤情報検出のための確率的コンセプトグラフ推論

arXiv cs.CL / 2026/3/27

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

マルチモーダルな誤情報検出は、新たな操作手法に対してしばしば破綻し、「ブラックボックス」的で解釈困難なモデルに依存していることから、より解釈可能なアプローチが求められる。
本論文では、Probabilistic Concept Graph Reasoning（PCGR）を提案する。PCGRは、マルチモーダル入力から人間が理解できるコンセプトグラフを構築し、そのグラフ上で階層的な注意（アテンション）による推論を行うことで、主張の真偽を判定する。
PCGRは、マルチモーダル・ラージ言語モデル（MLLMs）を用いて新たな高レベル概念を自動的に発見・検証することで、解釈可能でかつ発展（進化）可能な設計を目指している。
抄録で報告された実験結果は、最先端の精度を達成し、頑健性も向上したことを示しており、大まかな検出から微細な操作の認識まで、従来手法を上回っている。
中核となる貢献は、MMDを構造化された概念ベースの推論として捉え直すことで、証拠から結論へと結び付く追跡可能な推論チェーンを生成する点にある。

Abstract

多様なモダリティ（マルチモーダル）にまたがる誤情報は、しばしば従来の検出器をすり抜ける、ますます深刻化する課題です。従来の検出器は不透明なブラックボックスであり、新たな操作手法に対して脆弱です。私たちは、確率論的概念グラフ推論（Probabilistic Concept Graph Reasoning: PCGR）を提案します。PCGRは、マルチモーダル誤情報検出（MMD）を、構造化された概念に基づく推論として捉え直す、解釈可能で進化可能な枠組みです。PCGRは「構築してから推論する（build-then-infer）」パラダイムに従います。まず、人間が理解できる概念ノードのグラフを構築します。この際、マルチモーダル大規模言語モデル（MLLM）が自動的に発見し、検証した新規の高レベル概念も含めます。次に、この概念グラフに対して階層的注意（hierarchical attention）を適用し、主張の真偽を推論します。この設計により、証拠から結論へと結びつく、解釈可能な推論の連鎖が得られます。実験の結果、PCGRは最先端のMMD精度を達成し、出現しつつある操作タイプに対する頑健性も示します。さらに、粗い検出と、きめ細かな操作認識の両方において、従来手法よりも優れた性能を示します。