ピクセルの法廷裁判：敵対的エビデンスと強化学習による堅牢な画像改ざん位置推定

要旨: 既存の画像操作ローカライゼーション（IML）手法の一部では真正性に関する監督を取り入れているものの、この情報は通常、操作領域に対して操作されている領域を否定するローカライゼーションの証拠として明示的にモデル化されるのではなく、単に補助的な学習信号として用いられ、操作アーティファクトに対するモデルの感度を高めることに留まっています。その結果、操作痕跡が微弱である場合や、ポストプロセッシングやノイズによって劣化している場合、これらの手法は操作された証拠と真正な証拠を明示的に比較することができず、曖昧な領域における予測が信頼できないものになります。これらの問題に対処するため、我々はIMLタスクを「証拠の対峙に続く裁定」とみなす法廷風の審判フレームワークを提案します。このフレームワークは、検察ストリーム、弁護ストリーム、そして裁判官モデルで構成されています。まず、共有するマルチスケールエンコーダ上にデュアル仮説のセグメンテーションアーキテクチャを構築します。この中で検察ストリームは操作を主張し、弁護ストリームは真正性を主張します。エッジ事前知識に導かれ、カスケードされたマルチレベル融合、双方向の不一致抑制、動的な討論の洗練によって、操作領域と真正領域のそれぞれに対する証拠を生成します。さらに、不確実な領域に対して戦略的な再推論と精緻化を行う強化学習ベースの裁判官モデルを発展させ、操作領域マスクを得ます。裁判官モデルは、アドバンテージに基づく報酬とソフト-IoU目的関数で学習され、信頼性はエントロピーと仮説間整合性によってキャリブレーションされます。実験結果により、提案モデルはSOTAのIML手法と比べて平均性能が優れていることが示されます。