Stitch4D：時空間補間による疎なマルチロケーション4D都市再構成

要旨: 動的な都市環境は、空間的に離れた位置に設置されたカメラによって、視野の重なりがほとんどない、もしくはまったくない状態で撮影されることが多いです。しかし、既存のほとんどの4D再構成手法は、密に重なり合う視点を前提としています。このような疎な観測に適用すると、それらの手法は中間領域を再構成できず、しばしば時間的なアーティファクトを生じます。この実運用上の課題でありながら十分に探究されていない、疎な複数ロケーション設定に対処するために、欠落した空間的カバレッジを明示的に補償する統一的な4D再構成フレームワーク「Stitch4D」を提案します。Stitch4Dは、(i) 中間のブリッジ視点を合成して空間制約を密にし、空間カバレッジを改善し、そして、(ii) ロケーション間の一貫性に関する明示的な制約のもとで、統一された座標フレーム内で実観測と合成観測を同時に最適化します。最適化の前に中間カバレッジを復元することで、Stitch4Dは幾何学的な崩壊を防ぎ、疎に観測された環境でも首尾一貫した幾何と滑らかなシーンのダイナミクスを再構成します。この設定を評価するために、疎な複数ロケーション構成における時空間アライメントを評価する、CARLAベースのベンチマーク「Urban Sparse 4D (U-S4D)」を導入します。U-S4Dに対する実験結果では、Stitch4Dが代表的な4D再構成のベースラインを上回り、優れた視覚品質を達成することが示されています。これらの結果は、疎な都市環境における安定した4D再構成には、中間の空間カバレッジの回復が不可欠であることを示しています。