SceneExpander：フリーフォームに挿入したビューで3Dシーンを拡張する

要旨: 3Dシーン表現によるワールドビルディングは、コンテンツ制作、シミュレーション、インタラクティブ体験においてますます重要になっている一方で、実際のワークフローは本質的に反復的です。つまり、作成者はユーザの制御のもとで、既存のシーンを繰り返し拡張しなければなりません。この研究ギャップに動機づけられ、本研究ではユーザ中心のワークフローにおける3Dシーン拡張を検討します。具体的には、複数視点画像によって取得した実シーンから出発し、生成モデルによって合成された追加の視点を挿入することで、そのカバー範囲を拡張します。固定されたシーンに対する単純なオブジェクト編集やスタイル転送とは異なり、挿入された視点はしばしば元の再構成と3D的に整合しておらず、幾何のシフト、幻覚的な内容、あるいは視点依存のアーティファクトが生じて、全体のマルチビュー整合性が破綻します。課題に対処するために、我々はSceneExpanderを提案します。これは、パラメトリックなフィードフォワード3D再構成モデルに対してテスト時適応を適用し、相補的な2つの蒸留信号を用います。アンカ蒸留は、撮影された視点から幾何学的手がかりを蒸留することで元のシーンを安定化させます。一方、挿入視点自己蒸留は、観測に基づく予測を保持しつつ、潜在的な幾何と外観を適応させ、整合していない挿入視点に対応できるようにします。ETHのシーンおよびオンラインデータに関する実験により、整合不一致の下での拡張挙動と再構成品質が向上することが示されました。