露出ブラケットを合成することで実現する線形画像生成

概要: 写真の命は、センサーに入射したフォトン（光子）から始まります。フォトンの信号は、洗練された画像信号処理（ISP）パイプラインを通じて処理され、表示参照形式の画像が生成されます。しかし、このような画像は、ダイナミックレンジが圧縮され、主観的な好みによってスタイル付けされるため、入射光に忠実ではなくなっています。これに対して、RAW画像は、非線形のトーンマッピングが行われる前の、センサーからの直接的な信号を記録します。カメラ応答曲線の補正とデモザイキングの後には、線形画像へと変換できます。線形画像は、真の照度（イルミネランス）を直接反映する、シーン参照形式の表現であり、センサー固有の要因に不変です。画像センサーはより優れたダイナミックレンジとビット深度を備えているため、線形画像には表示参照形式の画像よりも豊富な情報が含まれます。その結果、ユーザーはポストプロセス中の編集の余地が増えます。この利点があるにもかかわらず、現在の生成モデルは主に表示参照形式の画像を合成しており、それは下流の編集を本質的に制限します。本論文では、テキストから線形画像を生成する課題に取り組みます。すなわち、テキストプロンプトに条件付けられ、完全なダイナミックレンジを保持する、高品質でシーン参照形式の線形画像を合成し、プロフェッショナルなポストプロセスに役立てることを目標とします。線形画像の生成は困難です。潜在拡散モデルにおける事前学習済みVAEは、ダイナミックレンジとビット深度がより高いことにより、極端なハイライトとシャドウを同時に保持するのが難しいためです。そこで本研究では、線形画像を、一つのダイナミックレンジの特定の部分をそれぞれ捉える露光ブラケットの列として表現し、テキスト条件付き露光ブラケット生成のためのDiTベースのフローマッチング構成を提案します。さらに、下流アプリケーションとして、テキスト誘導による線形画像編集や、ControlNetによる構造条件付き生成を含むことを示します。