SmokeGS-R: 実世界のマルチビュー煙復元のための、物理ガイド付き擬似クリーン3DGS

arXiv cs.CV / 2026/4/8

📰 ニュースIdeas & Deep AnalysisTools & Practical UsageModels & Research

要点

  • 本論文では、マルチビューの3Dガウシアン・スプラッティング再構成において、実世界で煙によって劣化したシーンを復元するための、物理ガイド付きパイプラインであるSmokeGS-Rを提案する。
  • タスクを幾何学復元(洗練されたdark channel priorに基づく擬似クリーン教師信号とガイド付きフィルタリングで学習)と、見え(外観)補正(ドナー・アンサンブルの調和と、LAB空間でのReinhard転送により実施)に分離する。
  • 本手法では、幾何平均による参照集約と、レンダリング時にビュー間で外観を安定化させるための軽量なガウシアン平滑化を用いる。
  • NTIRE 2026 Track 2のチャレンジ・リーダーボードでは、著者らはPSNR=15.217、SSIM=0.666を報告しており、さらに再評価として、再学習なしで公開されたRealX3Dのシーンに対して行った結果、PSNR=15.209、SSIM=0.644、LPIPS=0.551を達成した。
  • 本アプローチは、最も強力な公式ベースラインの平均を報告値として+3.68 dBのPSNR上回り、複製のための公開コードリポジトリも提供している。

Abstract

実世界の煙は、シーンの放射輝度を同時に減衰させ、エアライトを付加し、さらにマルチビューの外観整合性を不安定化させるため、頑健な3D再構成が特に困難になります。私たちは、NTIRE 2026 3D Restoration and Reconstruction Track 2 のチャレンジ向けに開発した実運用可能なパイプラインである extbf{SmokeGS-R} を提案します。主要なアイデアは、幾何の復元を外観の補正から切り離すことです。すなわち、洗練されたダークチャネル優先とガイド付きフィルタリングを用いて物理ガイド付きの疑似クリーンな教師信号を生成し、シャープなクリーンのみの3Dガウシアン・スプラッティングのソースモデルを学習させ、その後、幾何平均の参照集約、LAB空間でのReinhard転送、およびライトのガウシアンな平滑化を用いて、ドナー・アンサンブルとのレンダリングを調和させます。公式チャレンジのテスト用リーダーボードでは、最終提出は \mbox{PSNR =15.217} と \mbox{SSIM =0.666} を達成しました。RealX3D の公開後、同じ凍結結果を、再学習なしで公開された7つのチャレンジシーン上で再評価し、 \mbox{PSNR =15.209}、 \mbox{SSIM =0.644}、および \mbox{LPIPS =0.551} を得ました。同一シーンにおける最強の公式ベースライン平均を +3.68 dB PSNR 上回っています。これらの結果は、幾何を優先する再構成戦略に、安定した事後レンダリングによる外観の調和を組み合わせることが、実世界のマルチビュー煙の復元に対する有効なレシピであることを示唆しています。コードは https://github.com/windrise/3drr_Track2_SmokeGS-R で公開されています。