DINOLight: 自己教師付き視覚的事前情報を統合した頑健な環境光正規化

要旨: 本研究は、新しい環境光正規化フレームワーク DINOLight を提案します。これは自己教師ありモデル DINOv2 の画像理解能力を復元プロセスの視覚的事前情報として組み込むものです。環境光正規化は、複数の光源と複雑なシーン幾何によって生じる不均一な影と照明によって劣化した画像を復元することを目的とします。我々は、DINOv2 が劣化した画像から意味情報と幾何情報の両方を信頼性高く抽出できることを観察します。この観察に基づき、DINOv2 の特徴を照明正規化に活用する新しいフレームワークを開発します。まず、DINOv2 の異なる層からの特徴を点ごとのソフトマックスマスクを用いて結合する適応的特徴融合モジュールを提案します。次に、統合された特徴を補助的なクロスアテンション機構を介して、空間領域と周波数領域の両方で我々の提案する復元ネットワークへ組み込みます。実験の結果、DINOLight は Ambient6K データセットで優れた性能を発揮し、DINOv2 の特徴が環境光正規化の強化に有効であることが示されました。我々はまた、影除去のベンチマークデータセットに本手法を適用し、マスク事前情報を使用する手法と比較して競争力のある結果を達成しました。コードは受理された後に公開されます。