セマンティックなきめ細かな整合とMixture-of-Expertsによる顔画像偽造検出のドメイン横断評価の再考

Abstract

今日、生成モデルの急速な発展により、視覚データの偽造検出は社会的および経済的なセキュリティにおいてますます重要な役割を担っています。既存の顔偽造検出器は、データセット間での汎化能力が不十分であるため、満足のいく性能を達成できていません。この現象の主要因は、適切な指標の欠如にあります。一般に用いられるクロスデータセットAUC指標では、検出スコアがデータ領域間で大きくシフトし得るという重要な問題を明らかにできません。データ領域をまたぐスコアの比較可能性を明示的に評価するために、 \textbf{Cross-AUC} を提案します。これは、あるデータセットの実サンプルと別のデータセットの偽サンプル（およびその逆）を対比することで、データセット同士の組に対してAUCを計算できる評価指標です。Cross-AUC 指標のもとで代表的な検出器を評価すると、大きな性能低下が生じることが興味深く分かり、これまで見落とされていたロバスト性の問題が露呈します。さらに、 \textbf{S}emantic \textbf{F}ine-grained \textbf{A}lignment and \textbf{M}ixture-of-Experts（\textbf{SFAM}）という新規フレームワークも提案します。これは、CLIPが操作の痕跡に対して敏感になるようにするパッチレベルの画像-テキスト整合モジュールと、顔領域の mixture-of-experts モジュールから成り、異なる顔領域からの特徴を領域に応じた専門家（エキスパート）へと振り分け、領域を考慮した偽造解析を行います。公開データセットに対する広範な定性的および定量的実験により、提案手法は、さまざまな適切な指標において、先行の最先端手法よりも優れた性能を達成することが実証されています。