MERIT: 多ドメイン効率的RAW画像変換

Abstract

異なるカメラセンサーによって取得されたRAW画像は、スペクトル応答、ノイズ特性、トーン挙動の違いにより、大きなドメインシフトを示し、そのため下流のコンピュータビジョンタスクで直接利用することが困難です。従来の手法では、この問題に対して、各ソース・ターゲットの組ごとにドメイン固有のRAW-to-RAWトランスレータを学習することで対応してきましたが、このようなアプローチは、複数種類の市販カメラが関与する現実世界のシナリオにはスケールしません。本研究では、任意のカメラドメイン間で変換を行うために単一モデルを活用する、マルチドメインRAW画像変換のための初の統一フレームワーク MERIT を提案します。ドメイン固有のノイズ不一致に対処するために、生成画像の信号依存ノイズ統計をターゲットドメインのそれと明示的に整合させる、センサーを考慮したノイズモデリング損失を提案します。さらに、文脈とセンサーを考慮した特徴モデリングを改善するために、生成器に条件付きマルチスケールの大きな畳み込み（ラージカーネル）アテンションモジュールを追加します。標準化された評価を可能にするために、マルチドメインRAW画像変換に特化した初のデータセットである MDRAW を導入します。MDRAW は、幅広いシーンにわたって、5種類の多様なカメラセンサーから得たペアおよび非ペアのRAWキャプチャを含みます。大規模な実験により、MERIT は品質（5.56 dB の改善）とスケーラビリティ（学習反復の 80% 削減）の両面で従来モデルを上回ることを示します。