DualSplat：再構成失敗から擬似マスクをブートストラップして堅牢な3Dガウススプラッティングを実現

要旨: 3Dガウス・スパッティング（3DGS）はリアルタイムのフォトリアルなレンダリングを実現しますが、学習画像に一時的な対象（トランジェント）が含まれており、それが多視点の一貫性を破る場合、性能は大きく低下します。既存手法は循環的な依存関係に直面しています。すなわち、正確なトランジェント検出には適切に再構成された静的シーンが必要である一方、クリーンな再構成自体は信頼できるトランジェント・マスクに依存します。本研究では、この課題に対し、DualSplat を提案します。DualSplat は「優先情報への失敗（Failure-to-Prior）」の枠組みであり、最初の再構成段階での失敗を、2回目の再構成段階のための明示的な事前情報（prior）へと変換します。複数の視点のうち一部の視点にのみ現れるトランジェントは、保守的な初期学習中に不完全な断片として現れることが多いことを観察しました。そこで、フォトメトリックな残差、特徴量の不一致、SAM2のインスタンス境界を組み合わせることで、これらの失敗を用い、オブジェクト単位の疑似マスクを構築します。その後、この疑似マスクはクリーンな2回目のパスの3DGS最適化を導きます。一方で軽量なMLPが、それらをオンラインで改良し、事前情報による教師信号から自己整合性へ徐々にシフトさせていきます。RobustNeRFおよびNeRF On-the-goでの実験により、DualSplatは既存のベースラインよりも優れており、とりわけトランジェントが多いシーンやトランジェント領域において、より明確な利点を示すことを確認しました。