クォータニオン・ウェーブレット条件付け拡散モデルによる画像超解像

要旨: 画像超解像は、医用画像から衛星解析に至る幅広い応用を持つ、コンピュータビジョンにおける基礎的な課題です。低解像度入力から高解像度画像を再構成する能力は、物体検出やセグメンテーションといった下流タスクを強化するうえで重要です。深層学習はSRを大きく前進させてきましたが、きめ細かな詳細や現実的な質感を備えた高品質な再構成を実現することは、特に高い拡大率において依然として困難です。拡散モデルを活用した最近の手法は有望な結果を示していますが、多くの場合、知覚品質と構造の忠実性の両立に苦慮しています。本研究では、四元数ウェーブレットの前処理フレームワークと潜在拡散モデルを統合する新しいSRフレームワークであるResQuを提案します。さらに、新しい四元数ウェーブレットおよび時間認識型エンコーダを組み込みます。拡散モデルの中で単にウェーブレット変換を適用するだけの先行手法とは異なり、本アプローチは四元数ウェーブレット埋め込みを活用することで条件付けプロセスを強化し、異なる段階のノイズ除去に動的に統合します。加えて、Stable Diffusionのような基盤モデルの生成的事前知識も活用します。ドメイン固有のデータセットに対する大規模な実験により、本手法が卓越したSR結果を達成し、多くのケースで既存手法を知覚品質および標準的評価指標の両面で上回ることが示されます。コードは https://www.github.com/Fascetta/ResQu で公開されています