WorldFlow3D: 無限のワールド生成のための3D分布を“流れる”アプローチ

arXiv cs.AI / 2026/4/1

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、視覚・グラフィックス・ロボティクスにおけるシーンモデリングのために、無限な3D世界を生成するフローマッチングベースの手法であるWorldFlow3Dを提案する。
WorldFlow3Dは、条件付きのノイズ除去に限定されるのではなく、潜在表現を用いない（latent-free）アプローチで3D生成を「3Dデータ分布を流れる」ものとして扱う。
この手法は、より複雑なジオメトリや高品質なテクスチャの生成を改善するために、生成された簡易な構造を中間分布として利用しつつ、因果的で正確な3D構造の生成を目指す。
ベクトル化されたシーンレイアウト条件によって幾何構造を制御し、さらにシーン属性によってテクスチャを制御することで、操作性（controllability）を提供する。
実際の屋外の走行シーンおよび合成の屋内シーンでの実験により、ドメインをまたいだ汎化性と、試験したベースラインに対して生成の忠実度が良好で収束が速いことが示される。

要旨: 無制限の3Dワールド生成は、コンピュータビジョン、グラフィックス、ロボティクスにおけるシーンモデリングの基盤となる課題として台頭してきています。本研究では、無制限の3Dワールドを生成可能な新しい手法であるWorldFlow3Dを提案します。フローマッチングの基礎的な性質、すなわち2つのデータ分布間の輸送の経路を定義すること、に基づき、3D生成をより一般に、条件付きのノイズ除去に限定されない「3Dデータ分布の中を流れる（flowing through）」問題としてモデル化します。潜在変数なしの本手法は、因果的で正確な3D構造を生成できることを見出し、さらにこれを中間分布として用いることで、より複雑な構造や高品質なテクスチャの生成を導くことができます。しかも、既存手法よりもより速く収束します。シーン属性を通じて、幾何学的構造の制御と視覚的テクスチャの制御のためのベクトル化されたシーンレイアウト条件により、生成されるシーンの制御可能性を実現します。WorldFlow3Dの有効性を、実際の屋外走行シーンと合成の屋内シーンの両方で確認し、異分野にまたがる汎化性能と実データ分布上での高品質な生成を検証します。さらに、無制限シーン生成において、試験したあらゆる設定で、他の手法よりも良好なシーン生成忠実度（fidelity）を確認しました。詳細は https://light.princeton.edu/worldflow3d をご覧ください。