動画の事前知識から統一4D世界モデルを構築：非同期ノイズ除去によるアクションと生成の両立

要旨: 本研究では、単一の枠組みの中でリアルタイムなロボティクスの行動実行と高精細な4Dワールド合成（動画 + 3D再構成）を統合する統一4DワールドモデルであるX-WAMを提案する。これは、従来の統一型ワールドモデル（例: UWM）が2Dピクセル空間のみをモデル化してしまい、行動の効率性とワールドモデリングの品質のバランスを取れないという重要な限界に対処するものである。事前学習済みの動画拡散モデルの強力な視覚的事前知識（プライオル）を活用するために、X-WAMはマルチビューのRGB-D動画を予測することで未来の世界を想像し、軽量な構造適応によって空間情報を効率的に獲得する。具体的には、事前学習済みのDiffusion Transformerの終盤の数ブロックを複製し、それを未来の空間情報の再構成のための専用の深度予測ブランチへと組み込む。さらに、生成品質と行動デコーディング効率を同時に最適化するAsynchronous Noise Sampling（ANS）を提案する。ANSは推論時に特化した非同期の除ノイズ（denoising）スケジュールを適用し、少ないステップで行動を素早くデコードして効率的なリアルタイム実行を可能にしつつ、高精細な動画を生成するためにステップ列全体を専念させる。学習時にタイムステップを完全にデカップルするのではなく、ANSはそれらの同時分布からサンプリングして、推論分布との整合を図る。ロボティクスデータ5,800時間超で事前学習されたX-WAMは、RoboCasaおよびRoboTwin 2.0ベンチマークでそれぞれ平均成功率79.2%および90.7%を達成し、既存手法を視覚・幾何学の両方の指標で上回る高精細な4D再構成および生成を行う。