Dehaze-then-Splat：煙のない新規視点合成のための物理インフォームド3Dガウス・スプラッティングによる生成的除霧

arXiv cs.CV / 2026/4/16

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は「Dehaze-then-Splat」という2段階パイプラインを提案する。まず、フレームごとの生成的除霧（Nano Banana Pro）によって擬似的なクリーン画像を生成し、その後3Dガウス・スプラッティング（3DGS）により新規視点合成を行う。
フレーム単位の除霧が視点間の一貫性を損ね、ぼやけたレンダリングや不安定な3D再構成につながるという主要な課題に取り組み、その対策として物理インフォームドな補助損失を提案する。
物理インフォームドな学習では、擬似深度の品質に整合した深度スーパービジョン、ダークチャネル・プライア（dark channel prior）による正則化、ならびにデュアルソースの勾配マッチングを用いて、多視点の不整合を低減する。
Akikazeの検証シーンでの評価では、新規視点合成において20.98 dBのPSNRと0.683のSSIMを報告しており、正則化なしのベースラインに対して+1.50 dB改善している。
著者らは、早期停止を伴うMCMCベースの密度補完（densification）と、深度およびヘイズ抑制（haze-suppression）プライアを組み合わせることで、煙除去と3Dレンダリングにおける再構成アーティファクトをさらに低減できることを示している。

Abstract

本稿では、NTIRE 2026 3D Restoration and Reconstruction Challenge のトラック~2 向けに開発した、多視点のスモーク除去と新規視点合成のための二段階パイプライン「Dehaze-then-Splat」を提案します。第1段階では、Nano Banana Pro を用いたフレームごとの生成的デヘージングにより疑似クリーンな学習画像を作成し、その後に輝度正規化を行います。第2段階では、3D ガウシアン・スラッティング（3DGS）を、物理に基づく補助損失付きで学習します。具体的には、疑似深度との Pearson 相関による深度教師、dark channel prior の正則化、そしてデュアルソースの勾配マッチングを用い、フレームごとの生成処理に固有の視点間不整合を補償します。dehaze-then-reconstruct 型パイプラインには根本的な緊張関係があることを明らかにします。すなわち、画像ごとの復元品質は多視点整合性を保証しないため、その不整合は、下流の3D復元においてぼやけたレンダリングや構造の不安定さとして現れます。分析の結果、早期停止を伴う MCMC ベースの densification に、深度およびヘイズ抑制の事前知識（prior）を組み合わせることで、これらのアーティファクトを効果的に軽減できることが分かりました。Akikaze の検証シーンにおいて、本パイプラインは新規視点合成で 20.98\,dB PSNR と 0.683 SSIM を達成し、正則化なしのベースラインに対して +1.50\,dB の改善となりました。