DecepGPT：多文化データセットと堅牢なマルチモーダル学習によるスキーマ駆動の欺瞞検出

Abstract

マルチモーダルな欺瞞（デセプション）検出は、法医学やセキュリティのために、視聴覚の手がかりを分析することで欺瞞的な振る舞いを特定することを目的とする。これらの高リスクな状況では、視聴覚の手がかりと最終判断を結び付ける検証可能な証拠に加えて、ドメインや文化的文脈をまたいだ信頼できる汎化が必要となる。しかし、既存のベンチマークは中間の推論手がかりを伴わない二値ラベルのみを提供している。さらに、データセットも小さく、シナリオのカバレッジが限定されているため、近道（ショートカット）学習が生じやすい。私たちはこれらの課題に対して3つの貢献を行う。第一に、既存ベンチマークを構造化された手がかりレベルの記述と推論チェーンで拡張することで推論データセットを構築し、モデル出力の監査可能なレポートを可能にする。第二に、「真実を語れ（To Tell The Truth）」という統一されたテレビ番組フォーマットに基づいて4か国で実装した、多文化データセットT4-Deceptionを公開する。1695サンプルを含み、最大規模の非実験室型の欺瞞検出データセットである。第三に、小規模データ条件下での頑健な学習のための2つのモジュールを提案する。Stabilized Individuality-Commonality Synergy（SICS）は、学習可能なグローバルな事前知識とサンプル適応型の残差を相乗的に用いることでマルチモーダル表現を洗練（リファイン）し、その後、極性（ポラリティ）に配慮した調整により、表現を双方向に再校正（リキャリブレート）する。Distilled Modality Consistency（DMC）は、知識蒸留によってモダリティ固有の予測を、融合されたマルチモーダル予測と整合させることで、単一モダリティによる近道学習を防ぐ。3つの確立されたベンチマークと、私たちの新しいデータセットでの実験により、提案手法はインドメインおよびクロスドメインの両方のシナリオで最先端の性能を達成し、さらに多様な文化的文脈にまたがる優れた転移可能性を示すことが確認された。データセットとコードは公開される。