NimbusGS: ハイブリッドな天候下における統一的3Dシーン再構成

arXiv cs.CV / 2026/3/31

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

NimbusGSは、混在する悪天候のもとで撮影された劣化したマルチビュー入力に対応するために設計された、統一的3Dシーン再構成フレームワークである。単一の条件に最適化された手法よりも、天候をまたいだ汎化性能の向上を目指している。
このアプローチでは、天候を2つの構成要素としてモデル化する。すなわち、連続的でビュー整合的な透過効果（光の減衰）と、散乱や遮蔽を引き起こす動的でビュー依存の粒子状残差である。
NimbusGSは、劣化をビュー間で共有される大域的な透過フィールドと、ビューごとの粒子状残差へと分解することで、静的な大気効果と、過渡的で入力固有の擾乱とを切り分ける。
視界が極端に悪化した場合の安定性を高めるために、3Dガウス表現の自己教師あり最適化において勾配の不均衡を抑える、幾何学ガイド付きの勾配スケーリング機構を導入する。
本論文は、物理に基づいたこの定式化がシーン構造を保持し、優れた幾何学再構成をもたらすことを報告している。多様な天候シナリオにおいて、タスク固有のベースラインを上回り、コードはGitHubで公開されている。

Abstract

本論文では、多様で混在する悪天候条件のもとで撮影された劣化マルチビュー入力から、高品質な3Dシーンを再構成するための統一フレームワークであるNimbusGSを提案します。特定の天候タイプを対象とする既存手法とは異なり、NimbusGSは天候の二重性をモデル化することで、より広範な一般化の課題に取り組みます。具体的には、光を減衰させる、連続的でビュー整合的な媒体と、散乱や遮蔽を引き起こす動的でビュー依存の粒子です。この構造を捉えるために、劣化をグローバルな透過（伝送）場と、ビューごとの粒子残差に分解します。透過場はビュー間で共有される静的な大気の効果を表し、一方で残差は各入力に固有な一過性の擾乱をモデル化します。深刻な視認性劣化下でも安定したジオメトリ学習を可能にするために、3Dガウス表現の自己教師あり最適化において勾配の不均衡を緩和するジオメトリ誘導型勾配スケーリング機構を導入します。物理に基づくこの定式化により、NimbusGSはシーン構造を保持したまま複雑な劣化を切り分けることができ、幾何学的な再構成の点で優れた性能を示します。また、多様で困難な悪天候条件のもとで、タスク固有の手法を上回ります。コードは https://github.com/lyy-ovo/NimbusGS で公開されています。