フィードフォワードによる3Dシーンモデリング：問題駆動の視点

要旨: 2D入力から3D表現を再構成することは、コンピュータビジョンおよびグラフィックスにおける基本的な課題であり、物理世界を理解し相互作用するための礎となっています。従来の手法は高い忠実度を実現できますが、シーンごとの最適化が遅い、あるいはカテゴリ固有の学習に依存するため、実運用での展開やスケーラビリティが妨げられます。そこで近年、汎化可能なフィードフォワード型3D再構成が急速に発展しています。画像を単一の順伝播で直接3D表現へ写像するモデルを学習することで、これらの手法は効率的な再構成と、シーンをまたいだ堅牢な汎化を可能にします。私たちの調査は、重要な観察に動機づけられています。すなわち、暗黙的フィールドから明示的プリミティブまで多様な幾何出力表現が存在するにもかかわらず、既存のフィードフォワード手法は、画像特徴抽出バックボーン、多視点情報の融合メカニズム、そして幾何を意識した設計原則といった、類似した高レベルのアーキテクチャパターンを共有している、という点です。そこで私たちは、表現の違いは切り離して扱い、代わりにモデル設計に焦点を当て、出力形式に依存しないモデル設計戦略を中心とした新しいタクソノミーを提案します。提案するタクソノミーは、最近の研究の発展を駆動する5つの主要な問題に研究方向性を整理します。それらは、特徴強化、幾何意識、モデル効率、拡張戦略、そして時間情報を考慮したモデルです。このタクソノミーに実証的な裏付けと標準化された評価を与えるために、関連するベンチマークやデータセットを包括的にレビューし、フィードフォワード型3Dモデルに基づく現実世界の応用を詳細に論じ、分類します。最後に、スケーラビリティ、評価基準、そしてワールドモデリングといった未解決課題に対処するための今後の方向性を概説します。