RawGen：カメラRAW画像生成の学習

Abstract

カメラはシーン参照のリニアな生画像を取得し、搭載された画像信号プロセッサ（ISP）によって、表示参照の8ビットsRGB出力へと処理します。生データは低レベル視覚タスクに対してより忠実ですが、大規模な生データセットの収集は依然として主要なボトルネックです。既存のデータセットは限られており、特定のカメラハードウェアに結び付いているためです。生成モデルはこの不足を解決する有望な手段を提供しますが、既存の拡散フレームワークは、物理的に整合したリニア表現を合成するようには設計されておらず、写真仕上げ済みのsRGB画像の合成に向けられています。本論文では、当方の知る限り、任意の目標カメラに対するテキストからの生生成（text-to-raw）と、sRGBから生への反転（sRGB-to-raw inversion）を可能にする最初の拡散ベースの枠組みとしてRawGenを提案します。RawGenは、大規模sRGB拡散モデルの生成的な事前知識（prior）を活用し、潜在空間とピクセル空間における特殊な処理を通じて、CIE XYZやカメラ固有の生表現などの物理的に意味のあるリニア出力を合成します。拡散モデルの学習データに含まれる、未知で多様なISPパイプラインおよび写真仕上げの効果に対処するため、複数のISPパラメータを用いて同一シーンから生成された複数のsRGBレンディションを、共通のシーン参照の目標へとアンカーする、many-to-oneの逆ISPデータセットを構築します。このデータセット上で条件付きデノイザと特殊なデコーダを微調整することで、RawGenはレンダリング・パイプラインを効果的に反転する、カメラ中心のリニア復元を獲得できます。さらに、RawGenが固定されたISPを仮定する従来の逆ISP手法に比べて優れた性能を示すことを実証します。加えて、RawGenのスケーラブルでテキスト駆動の合成データで学習パイプラインを拡張することが、下流の低レベル視覚タスクに有益であることを示します。