Wanderland：オープンワールド向け身体化AIのための幾何学的に裏付けられたシミュレーション

arXiv cs.RO / 2026/3/30

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

Wanderlandは、視覚ナビゲーションのようなオープンワールドの身体化AIタスクに対して、再現可能でクローズドループな評価を可能にすることを目的とした、real-to-sim（実環境からシミュレーションへの）フレームワークとして提示される。
提案手法は、多センサーによる取得、信頼性の高いシーン再構成、正確な幾何学的な基準づけ（グラウンディング）、堅牢なビュー合成を組み合わせることで、従来手法に共通するsim-to-realギャップを低減する。
本論文は、既存の画像のみのパイプラインはスケールしにくいと主張し、再構成／幾何学の品質が新規ビュー合成の品質に直接影響することを示している。
さらに、これらのセンシングおよびレンダリングの制約が、ナビゲーション方策の学習や評価結果の信頼性を悪化させ得ることを示す。
データセットおよび生のセンサーデータは、身体化ナビゲーションだけでなく、3D再構成や新規ビュー合成モデルの評価に対してもベンチマーク／テストベッドとして位置づけられている。

Abstract

再現可能なクローズドループ評価は、視覚ナビゲーションのようなEmbodied AIにおいて依然として大きなボトルネックです。前進の有望な道筋は、高精度なシミュレーションであり、フォトリアルなセンサー描画と、複雑でオープンワールドな都市環境における幾何学的に裏付けられた相互作用を組み合わせます。近年のvideo-3DGS手法によりオープンワールドのシーン撮影は容易になったものの、視覚および幾何学のシムtoリアルギャップが大きいため、ベンチマーク用途には依然として不適です。これらの課題に対処するために、我々はWanderlandを導入します。Wanderlandは、マルチセンサーによるキャプチャ、信頼性の高い再構成、正確なジオメトリ、頑健なビュー合成を備えた、実世界からシミュレーションへ移行するためのフレームワークです。このパイプラインを用いて、屋内外の多様な都市シーンからなるデータセットを構築し、画像のみのパイプラインがどのようにスケールしにくいのか、幾何品質が新規ビュー合成にどのように影響するのか、そしてこれらすべてがナビゲーション方策学習と評価の信頼性をどのように悪化させるのかを、体系的に示します。Wanderlandは、体内（Embodied）ナビゲーションの信頼できるテストベッドとして機能するだけでなく、豊富な生のセンサーデータにより、3D再構成および新規ビュー合成モデルのベンチマークも可能にします。我々の研究は、オープンワールドのEmbodied AIにおける再現可能な研究のための新たな基盤を確立します。プロジェクトのWebサイトは https://ai4ce.github.io/wanderland/ です。