SpectralSplat：駆動シーンのための外観を分離したフィードフォワード・ガウシアン・スプラッティング
arXiv cs.CV / 2026/4/7
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- SpectralSplatは、駆動シーンに対するフィードフォワード3Dガウシアン・スプラッティングの重要な制約に取り組み、シーンの幾何学と、照明・天候・日の時刻といった一過性の外観要因を分離することで解決します。
- 本手法は色を2つのストリームで予測します。すなわち、外観に依存しないベースと、外観に条件付けされた適応（adapted）ストリームの2系統で、いずれも共有MLPで生成され、DINOv2の特徴から得たグローバルな外観埋め込みを用います。
- 効果的な分離のために、物理ベースの固有分解と、拡散ベースの生成的なリファインを組み合わせるハイブリッド再照明（relighting）パイプラインによって合成した、対になった観測データを用いて学習します。
- 外観に適応可能な時間的履歴を導入し、外観非依存の特徴を保存します。これにより、蓄積したガウシアンを任意の目標外観の下で再レンダリングできつつ、時間的一貫性を維持します。
- 実験結果から、SpectralSplatは基盤となるガウシアン・スプラッティングの再構成品質を保持しながら、外観の制御可能な転送と、駆動シーケンス全体での一貫した再照明を可能にすることが示されています。
