InstantHDR: 高ダイナミックレンジ3D再構成のための単一フォワード ガウシアン・スプラッティング

要旨: 高ダイナミックレンジ (HDR) novel view synthesis (NVS) は、複数露出の低ダイナミックレンジ (LDR) 画像から HDR シーンを再構成することを目的とします。既存の HDR パイプラインは、知られたカメラポーズ、よく初期化された密な点群、そして時間のかかるシーンごとの最適化に大きく依存しています。現在のフィードフォワードの代替手段は、露出不変な外観を前提として HDR 問題を見落としています。これらのギャップを埋めるべく、私たちは InstantHDR を提案します。これは未校正の複数露出 LDR コレクションから 3D HDR シーンを単一のフォワードパスで再構成するフィードフォワードネットワークです。具体的には、複数露出融合のための幾何誘導的外観モデリングと、シーン固有のトーンマッピングを一般化するためのメタネットワークを設計します。HDR シーンデータが不足しているため、一般化可能なフィードフォワード HDR モデルのための事前学習データセット HDR-Pretrain を構築しました。168 個の Blender レンダリングシーン、多様な照明タイプ、および複数のカメラ応答関数を特徴とします。包括的な実験は、InstantHDR が最先端の最適化ベース HDR 手法と同等の合成性能を提供する一方で、単一フォワード設定で約 700 倍、ポスト最適化設定で約 20 倍の再構成速度の改善を実現することを示しています。すべてのコード、モデル、およびデータセットは審査プロセスの後に公開される予定です。