言語条件付き視覚ナビゲーションのための方策誘導型ワールドモデル計画

概要: 自然言語による指示に基づいて、視覚的に指定された目標へ到達するように誘導することは、身体性を備えたAIにおける根本的な課題である。既存の手法は、大きな時間範囲にわたる計画が苦手な反応的ポリシーに依存するか、あるいは高次元空間での行動の初期化が不十分であるためにうまく機能しない世界モデルを用いるかのいずれかである。本研究では、学習済みのナビゲーションポリシーの強みと、指示条件付き視覚ナビゲーションのための潜在世界モデル計画を組み合わせた2段階フレームワークであるPiJEPAを提案する。第1段階では、凍結した事前学習済みビジョンエンコーダ（DINOv2またはV-JEPA-2）で拡張したOctoベースの汎用ポリシーを、CASTナビゲーションデータセット上で微調整し、現在の観測と文言指示に条件付けられた情報に基づく行動分布を生成する。第2段階では、このポリシー由来の分布を用いて、別途学習したJEPA世界モデル上でModel Predictive Path Integral（MPPI）計画をウォームスタートする。この世界モデルは、同じ凍結エンコーダの埋め込み空間で将来の潜在状態を予測する。無情報なガウスからではなく、ポリシーの事前分布からMPPIのサンプリング分布を初期化することで、プランナーは目標へ到達する高品質な行動列により速く収束する。視覚エンコーダのバックボーンの効果を体系的に調べ、ポリシー成分と世界モデル成分の両方においてDINOv2とV-JEPA-2を比較する。実世界のナビゲーション課題での実験により、PiJEPAが単独のポリシー実行と無情報な世界モデル計画の両方を大幅に上回り、目標到達精度と指示追従の忠実度が向上することを示す。