エゴセントリックな歩行ツアー動画から人のいない環境ウォークスルーを生成する手法

arXiv cs.CV / 2026/4/1

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、環境モデリングにおけるエゴセントリックな「歩行ツアー」動画の主要な制約に取り組む。具体的には、人（影を含む）がしばしばフレームに写り込み、学習可能な環境表現の獲得を妨げる点である。
人と、それに伴う影の影響を歩行ツアー動画クリップから現実的に除去する、生成型インペインティング（穴埋め）アプローチを提案する。
提案手法では、環境のみの背景クリップから成るセミ合成トレーニングデータセットを構築し、それに対して、実際のエゴセントリック映像から取得した歩行する人間と影をシミュレーションして合成したクリップを対応させることで、全体的な視覚的多様性を維持する。
著者らは、オブジェクトやエフェクトのインペインティングに関して、最先端のCasper動画拡散モデルを微調整し、密な人の存在や複雑な背景の状況においてCasperを上回る定性的および定量的な性能を示す。
さらに、生成された人のいない動画クリップを用いて都市ロケーションの成功した3D/4Dモデルを構築することで、下流タスクでの有用性も実証する。