固有の重要性認識による適応的フォレンジック特徴リファインメント

要旨: 生成モデルとマルチモーダルなコンテンツ編集技術の急速な発展に伴い、合成画像検出（SID）が直面する主要な課題は、未知の生成ソースに対する分布間一般化です。近年、大規模な画像-テキスト整合の事前学習によって豊かな視覚的事前知識を獲得する視覚基盤モデル（VFM）が、SIDの一般化能力を高める有望な技術的手段として注目されています。しかし、既存のVFMベース手法は適応戦略が比較的粗く、次のような傾向があります。すなわち、多くの場合、単にVFMの最終層表現をそのまま用いるか、あるいは複数層の特徴を単純に融合するだけであり、転用可能な偽造手がかりを捉えるための最適な表現階層を明示的にモデル化できていません。一方で、VFMを直接微調整することでタスク適応を高められる可能性はあるものの、それはオープンセット一般化を支えるマルチモーダル事前学習構造を損なう恐れもあります。このタスク固有の緊張関係に対処するために、我々はSIDに対するVFM適応を共同最適化問題として再定式化します。すなわち、偽造識別に関する情報を運ぶのにより適した重要な表現層を特定することに加え、タスク知識の注入によって事前学習構造にもたらされる擾乱を制約する必要があります。以上に基づき、我々は固有重要度知覚（intrinsic importance perception）を中心とするSIDフレームワークI2Pを提案します。I2Pはまず、SIDにとって最も識別的な重要層表現を適応的に同定し、次に、低感度のパラメータ部分空間内でタスク駆動によるパラメータ更新を制約することで、タスク特異性を向上させつつ、事前学習表現の転用可能な構造を可能な限り保持します。