因果的分離によるフル参照型画像品質評価

Abstract

既存の深層ネットワークに基づくフルリファレンス画像品質評価（FR-IQA）モデルは、一般に参照画像と劣化画像から得た深層特徴を用いたペアワイズ比較によって動作します。本論文では、この問題に対して異なる観点から取り組み、因果推論とデカップル（分離）表現学習に基づく新しいFR-IQAパラダイムを提案します。典型的な特徴比較ベースのFR-IQAモデルとは異なり、我々の手法では、潜在表現に対する介入（intervention）によって導かれる因果分離（causal disentanglement）プロセスとして劣化推定を定式化します。まず、参照画像と劣化画像の間に存在する内容の不変性を活用することで、劣化表現と内容表現をデカップルします。次に、人間の視覚マスキング効果に着想を得て、画像内容と劣化特徴の間の因果関係をモデル化するマスキングモジュールを設計し、それによって劣化画像から内容の影響を受けた劣化特徴を抽出します。最後に、これらの劣化特徴から、教師あり回帰またはラベルなしの次元削減のいずれかを用いて品質スコアを予測します。大規模な実験により、本手法が完全教師あり、少数ラベル、およびラベルなしの設定において、標準的なIQAベンチマークで非常に競争力の高い性能を達成することを示します。さらに、本手法を、データが乏しい状況における多様な非標準の自然画像ドメイン（潜水、放射線画像、医療、原子炉（neutron）、スクリーンコンテンツ画像を含む）に対して評価します。ラベル付きIQAデータを用いずに、シナリオ固有の学習と予測を実行できる能力により、本手法は既存の学習不要型FR-IQAモデルに比べて、ドメイン間の汎化性能が優れていることが示されます。