広告

Ground-Truthの彼方へ:実世界の画像復元のための画像品質事前知識の活用

arXiv cs.CV / 2026/4/1

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、グラウンドトゥルースの教師あり学習に依存する既存の実世界画像復元手法の限界を指摘し、「グラウンドトゥルース」には知覚的な忠実度の一貫性がない場合があり、その結果、モデルが最良の知覚結果ではなく品質を平均化するようになってしまう可能性があることを述べている。
  • そこで提案するのがIQPIRであり、事前学習済みの無参照画像品質評価(NR-IQA)モデルから抽出した「画像品質事前知識」を用いて、復元結果を知覚的に最適な出力へ明示的に誘導する枠組みである。
  • 本手法は、IQPと学習済みコードブック事前知識を、品質条件付きTransformer(条件付けにNR-IQAスコアを使用)に統合し、さらに共通特徴とHQ(高品質)固有特徴を分離するためのデュアルブランチのコードブック、連続潜在空間での過最適化を抑えるための離散的な品質最適化戦略を組み合わせている。
  • 実世界の画像復元に関する実験により、IQPIRは最先端手法を上回ることが示され、既存の復元アーキテクチャに構造変更を要せずに改善できる、汎化可能なプラグアンドプレイ型の強化手段として機能し得る。
  • 著者らはコードが公開されていると述べており、分野内での導入や他者によるさらなる実験を後押ししている。

Abstract

Real-world image restoration aims to restore high-quality (HQ) images from degraded low-quality (LQ) inputs captured under uncontrolled conditions. Existing methods typically depend on ground-truth (GT) supervision, assuming that GT provides perfect reference quality. However, GT can still contain images with inconsistent perceptual fidelity, causing models to converge to the average quality level of the training data rather than achieving the highest perceptual quality attainable. To address these problems, we propose a novel framework, termed IQPIR, that introduces an Image Quality Prior (IQP)-extracted from pre-trained No-Reference Image Quality Assessment (NR-IQA) models-to guide the restoration process toward perceptually optimal outputs explicitly. Our approach synergistically integrates IQP with a learned codebook prior through three key mechanisms: (1) a quality-conditioned Transformer, where NR-IQA-derived scores serve as conditioning signals to steer the predicted representation toward maximal perceptual quality. This design provides a plug-and-play enhancement compatible with existing restoration architectures without structural modification; and (2) a dual-branch codebook structure, which disentangles common and HQ-specific features, ensuring a comprehensive representation of both generic structural information and quality-sensitive attributes; and (3) a discrete representation-based quality optimization strategy, which mitigates over-optimization effects commonly observed in continuous latent spaces. Extensive experiments on real-world image restoration demonstrate that our method not only surpasses cutting-edge methods but also serves as a generalizable quality-guided enhancement strategy for existing methods. The code is available.

広告