要旨：単一画像の反射除去（SIRR）は実世界のシーンで困難であり、反射の強さは空間的に変動し、反射パターンは透過構造と密接に絡み合っています。本論文は、空間的制御性と構造的忠実度を向上させるための明示的なガイダンス信号を導入するprior modulationフレームワーク（FUMO）を備えた拡散モデルを提案します。混合画像から直接抽出される2つのプリオリ情報は、空間的反射の重症度を推定する輝度プリオリと、多スケール残差集約を介してディテール感度の高い応答を捉える高周波プリオリです。私たちは粗から細へのトレーニングパラダイムを提案します。第一段階では、これらの手掛かりを組み合わせて条件付き残差注入をゲートし、条件付けを反射が支配的で構造に敏感な領域に集約します。第二段階では、精緻化ネットワークが局所的なずれを修正し、画像空間の微細なディテールをシャープにします。標準ベンチマークと現実世界の難しい画像の両方で行われた実験は、競争力のある定量的結果と一貫して改善された知覚品質を示します。コードは https://github.com/Lucious-Desmon/FUMO に公開されています。
FUMO: 単一画像反射除去のための事前情報で調整された拡散
arXiv cs.CV / 2026/3/20
📰 ニュースTools & Practical UsageModels & Research
要点
- FUMOは、拡散ベースの事前情報モジュレーションフレームワークを単一画像の反射除去のために導入し、明示的な事前情報が条件付けを導くことで、より良い空間的制御性と構造的忠実性を実現する。
- 本手法は混合画像から2つの事前情報を導出する。反射強度を推定するための強度の事前情報と、マルチスケール残差の集約を介して詳細感度の応答を捉える高周波の事前情報である。
- 粗い特徴から細部へと段階的な訓練戦略を採用し、第1段階では条件付き残差の注入をゲート化して、反射が支配的で構造に敏感な領域に焦点を当てる。続く第2段階では、局所的なアライメントのずれを補正し、ディテールをシャープ化するリファインメントネットワークを用いる。
- 標準ベンチマークおよび現実世界の難しい画像を用いた実験は、定量的な競争力ある結果と知覚品質の向上を示した。
- 著者は再現性と実用性を支援するため、GitHubにコードを公開している。
