石一つ残さず探る：深層フェイク検出のための、オーディオ・ビジュアルにおけるホリスティックな本質的整合性の解明

要旨: 生成AIの急速な進歩により、超現実的な音声・映像のディープフェイクが可能になり、個人の安全と社会的信頼に対する脅威が深刻化している。既存のほとんどのディープフェイク検出器は、単一モダリティのアーティファクト、または音声・映像間の不一致のいずれかに依存しており、両方の情報源を共同で活用できていない。さらに、生成器固有のアーティファクトに依存する検出器は、未知の偽造に直面すると汎化性能が低下する傾向がある。我々は、頑健で一般化可能な検出は、モダリティ内およびモダリティ間にまたがる固有の音声・映像の整合性に基づくべきだと主張する。そこで本研究では、HAVIC（Holistic Audio-Visual Intrinsic Coherence-based deepfake detector）を提案する。HAVICはまず、真正の動画で事前学習することにより、モダリティ固有の構造的整合性、ならびにモダリティ間のミクロおよびマクロの整合性に関する事前知識（priors）を学習する。学習した事前知識に基づき、HAVICはさらに、ディープフェイク検出のために音声・映像の特徴を動的に融合する、ホリスティックな適応的アグリゲーションを実行する。加えて、最先端の商用ジェネレータから生成されたテキストから動画、および画像から動画の偽造の両方を含む、高精細な音声・映像ディープフェイクデータセットであるHiFi-AVDFを導入する。複数のベンチマークにわたる大規模な実験の結果、HAVICは既存の最先端手法を大幅に上回り、最も難しいクロスデータセットの状況において9.39%のAP改善および9.37%のAUC改善を達成した。我々のコードおよびデータセットは https://github.com/tuffy-studio/HAVIC で公開している。