現実的なスマートフォン用超解像のためのRAWドメイン劣化モデル

要旨:
スマートフォンのデジタルズームは、RAWセンサー画像上で動作する学習ベースの超解像（SR）モデルに依存していますが、センサー固有のトレーニングデータを取得することは、正解画像が不足しているため困難です。高解像度（HR）画像を低解像度（LR）画像へ変換する劣化を模倣することで、``unprocessing''パイプラインによる合成データ生成は潜在的な解決策を提供します。しかし、これらのパイプラインは、不完全または現実的でない劣化モデリングが原因で、ドメインギャップを生み出す可能性があります。本論文では、原理的で慎重に設計された劣化モデリングが、実世界の条件下でSRの性能を向上させることを示します。カメラぼかしやノイズに関する一般的な事前情報に依存する代わりに、キャリブレーションを通じてデバイス固有の劣化をモデル化し、公開されているレンダリング画像をさまざまなスマートフォンのRAWドメインへ``unprocess''することによってデバイス固有の劣化をモデル化します。これらの画像ペアを用いて、単一画像のRAW-to-RGB SRモデルを訓練し、ホールドアウトされたデバイスの実データで評価します。私たちの実験は、正確な劣化モデリングが顕著な改善につながることを示しており、私たちのSRモデルは、任意に選択された大規模な劣化のプールを用いて訓練されたベースラインを上回ります。