MANSION: 複数階層の言語入力を3Dシーンへ変換する長期タスク向け生成フレームワーク

要旨：現実世界のロボットタスクは長期的で、多くは複数の階にまたがり、豊かな空間推論を要求します。しかし、既存の具現化ベンチマークは主に単一階の院内環境に限定されており、現実世界のタスクの複雑さを反映していません。我々は、建物規模の多層3D環境を生成する最初の言語駆動フレームワーク「MANSION」を導入します。垂直方向の構造制約を踏まえ、MANSION は多様で人間にも優しいシーンを含む現実的で探索可能な建物全体の構造を生成し、跨階層の長期タスクの開発と評価を可能にします。このフレームワークを基礎に、1,000以上の多様な建物からなるデータセット「MansionWorld」と、オープンボキャブラリのコマンドを用いてこれらの環境を特定のユーザーニーズに合わせてカスタマイズするタスクセマンティックシーン編集エージェントをリリースします。ベンチマークは、最先端のエージェントが私たちの設定で急激に劣化することを明らかにしており、次世代の空間推論と計画の重要なテストベッドとして MANSION を確立します。