LumaFlux：物理ガイド付き拡散トランスフォーマーで8ビットの世界をHDRの現実へ引き上げる

Abstract

HDR対応デバイスの急速な普及により、8ビットの標準ダイナミックレンジ（SDR）コンテンツを知覚的かつ物理的に正確な10ビットのハイダイナミックレンジ（HDR）へ変換することが強く求められている。既存の逆トーンマッピング（ITM）手法はしばしば、実世界の劣化、スタイルの多様性、カメラのパイプラインに対して汎化するのが難しい固定的なトーンマッピング演算子に依存しており、クリップされたハイライト、不自然な色の彩度低下、あるいは不安定なトーン再現を引き起こしがちである。そこで本研究では、既存の大規模な事前学習済みDiTを適応することで、SDRからHDRへの再構成のための、最初の物理的および知覚的に導かれた拡散トランスフォーマ（DiT）であるLumaFluxを提案する。LumaFluxは、（1）低ランクの残差を通じて注意機構に輝度、空間記述子、周波数の手がかりを注入する物理ガイド付き適応（PGA）モジュール、（2）視覚エンコーダの特徴からのFiLM条件付けによりクロマとテクスチャを安定化する知覚クロスモジュレーション（PCM）層、（3）タイムステップおよび層に適応したモジュレーションのスケジュールのもとで物理信号と知覚信号を融合するHDR残差カップラ、を導入する。最後に、軽量なRational-Quadratic Splineデコーダにより、ハイライトおよび露光の拡張のための滑らかで解釈可能なトーン場を再構成し、VAEデコーダの出力を高めることでHDRを生成する。頑健なHDR学習を可能にするため、我々は最初の大規模SDR-HDRトレーニングコーパスを新たに整備する。公平かつ再現可能な比較のために、さらに、HDR参照と対応する専門家が評価したSDRバージョンからなる新しい評価ベンチマークを構築する。各ベンチマークにおいて、LumaFluxは最先端のベースラインを上回り、最小限の追加パラメータで、優れた輝度再構成と知覚的な色の忠実性を実現する。