ABot-PhysWorld：物理整合を備えたロボット操作のためのインタラクティブ世界基盤モデル

Abstract

動画ベースのワールドモデルは、身体性を備えたシミュレーションと計画のための強力なパラダイムを提供しますが、最先端のモデルはしばしば、一般的な視覚データでの学習と、物理法則を無視する尤度ベースの目的関数のために、物理的に不自然な操作（たとえば物体の貫通や反重力的な運動）を生成します。私たちは、視覚的に現実的で、物理的に妥当で、かつアクションを制御可能な動画を生成する14BのDiffusion TransformerモデルであるABot-PhysWorldを提案します。物理に配慮したアノテーション付きの、3百万本の操作クリップからなる厳選データセットを基盤としており、視覚品質を維持しつつ非物理的なふるまいを抑制するために、デカップルされた判別器を用いた新しいDPOベースのポストトレーニング枠組みを採用しています。並列なコンテキストブロックにより、クロス・エンボディメント制御のための精密な空間的アクション注入が可能になります。汎化性能をより適切に評価するために、学習に依存しない最初の、身体性を備えたゼロショットベンチマークであるEZSbenchを導入します。これは、実世界と合成の、未見のロボットのタスク・シーンの組み合わせを統合したものです。物理的な現実性とアクションの整合性をそれぞれ別個に評価するための、デカップルされたプロトコルを採用しています。ABot-PhysWorldは、PBenchおよびEZSbenchにおいて新たな最先端の性能を達成し、物理的な妥当性と軌道の一貫性の面でVeo 3.1およびSora v2 Proを上回ります。身体性を備えた動画生成における標準化された評価を促進するために、EZSbenchを公開します。