QUSR: 品質認識と不確実性誘導型画像超解像ディフュージョンモデル

概要: 拡散ベースの画像超解像（ISR）は強力な可能性を示しているが、劣化が未知かつ空間的に非均一な実世界のシナリオでは依然として苦戦し、細部の消失や視覚的なアーティファクトを生じることが多い。この課題に対処するために、我々は品質認識事前情報（QAP）と不確実性誘導ノイズ生成（UNG）モジュールを統合した新しい超解像ディフュージョンモデルQUSRを提案する。UNGモジュールはノイズ注入強度を適応的に調整し、不確実性の高い領域（例えばエッジやテクスチャ）に対して強い摂動を加えて複雑な細部を復元し、不確実性の低い領域（例えば平坦な部分）ではノイズを最小限に抑えて元情報を保持する。同時にQAPは高度な多モーダル大規模言語モデル（MLLM）を活用して信頼できる品質記述を生成し、復元プロセスに対して効果的かつ解釈可能な品質事前情報を提供する。実験結果により、QUSRは実世界の条件下で高忠実度かつ高リアリズムの画像を生成可能であることが確認された。ソースコードは https://github.com/oTvTog/QUSR にて公開されている。