深層偽造動画検出のための視覚言語セマンティクスの解放

要旨: 最近のディープフェイク動画検出（DFD）研究では、CLIPのような事前学習済みビジョン・言語モデル（VLM）が、異なる人物同一性にまたがってアーティファクトを検出する際に強い汎化能力を示すことが確認されています。しかし、既存の手法は視覚的特徴のみを活用することに重点を置いており、最も際立った強み――潜在空間に埋め込まれた豊富なビジョン・言語セマンティクス――を見落としています。そこで本研究では、こうしたクロスモーダルセマンティクスの可能性を解き放ち、ディープフェイク検出におけるモデルの識別性を高める新しいDFDフレームワークであるVLAForgeを提案します。本研究の貢献は、i）VLAForgeにより、ForgePerceiverを通してVLMの視覚認識を強化することです。ForgePerceiverは独立した学習者として機能し、きめ細かくかつ全体的に、多様で微妙な偽造の手がかりを捉えつつ、事前学習済みのビジョン・言語アラインメント（VLA）知識を保持します。さらに ii）補完的な識別手がかりとして、ForgePerceiverによって学習された偽造手がかりとクロスモーダルセマンティクスを結合することで導出される、アイデンティティ認識型VLAスコアを提供します。特に、VLAスコアは、各人物同一性に合わせて真正性の手がかりを捉えるための、アイデンティティ事前情報に基づくテキスト・プロンプトによって強化されるため、より識別的なクロスモーダルセマンティクスが可能になります。ビデオDFDベンチマークに対する包括的な実験（古典的な顔の入れ替え偽造、および近年のフルフェイス生成偽造を含む）により、提案手法VLAForgeがフレームレベルおよびビデオレベルの両方において、最先端手法を大幅に上回ることが示されます。コードは https://github.com/mala-lab/VLAForge で利用可能です。