RefReward-SR: 嗜好に整合した超解像のためのLR条件付き報酬モデリング

Abstract

生成的超解像（SR）の近年の進歩は視覚的なリアリズムを大きく向上させてきましたが、既存の評価・最適化の枠組みは人間の知覚と整合していないままです。フルリファレンス（Full-Reference）およびノーリファレンス（No-Reference）の指標は、しばしば知覚上の嗜好を反映できず、画素の位置ずれにより意味的に妥当な細部を不当に罰したり、視覚的にはシャープだが一貫性のないアーティファクトを好む結果になります。さらに、多くのSR手法はグラウンドトゥルース（GT）依存の分布整合に依存しており、それが必ずしも人間の判断と一致するとは限りません。本研究では、嗜好に整合したSRのための、低解像度（LR）参照対応報酬モデルであるRefReward-SRを提案します。GTによる教師あり信号やNR評価に依存するのではなく、RefReward-SRは、LR入力を意味的アンカーとして扱いながら、それに条件付けられた高解像度（HR）再構成物を評価します。マルチモーダル大規模言語モデル（MLLM）の視覚-言語的事前知識を活用し、推論を考慮した形で意味的整合性と妥当性を評価します。このパラダイムを支えるために、SRのための最初の大規模LR条件付き嗜好データセットであるRefSR-18Kを構築し、LR-HR整合性とHRの自然さに基づくペア単位のランキングを提供します。LR条件付きランキング報酬を用いて、Group Relative Policy Optimization（GRPO）によりMLLMを微調整し、さらにRefReward-SRを嗜好に整合した生成の中核となる報酬信号として、GRPOをSRモデルの学習へ統合します。大規模な実験の結果、提案フレームワークは人間の判断との整合性を大幅に高めることが示されました。意味的整合性を保持しつつ、知覚上の妥当性と視覚的自然さを強化した再構成を生成できます。コード、モデル、データセットは、論文の採択後に公開します。