視覚ナビゲーションのための言語条件付き世界モデリング

概要: 本研究では、言語条件付き視覚ナビゲーション（LCVN）を扱います。この枠組みでは、身体を持つエージェントが、最初の自己中心視点（egocentric）の観察のみに基づいて、自然言語による指示に従うことを求められます。目的画像へのアクセスがないため、エージェントは言語を手掛かりに知覚と連続制御を形作らなければならず、グラウンディング問題は特に困難になります。本研究では、この問題を言語指示に条件付けられたオープンループの軌道予測として定式化し、39,016本の軌道と117,048件の人手によって検証された指示からなるベンチマークであるLCVNデータセットを導入します。このデータセットは、さまざまな環境と指示スタイルにまたがる再現可能な研究を支援します。さらに、このデータセットを用いて、言語グラウンディング、将来状態の予測、行動生成を2つの補完的なモデル系によって結びつけるLCVNフレームワークを開発します。1つ目の系は、拡散ベースの世界モデルであるLCVN-WMと、同世界モデルの潜在空間で学習されたアクター・クリティック型エージェントであるLCVN-ACを組み合わせます。2つ目の系であるLCVN-Uniは、自己回帰型のマルチモーダル・アーキテクチャを採用し、行動と将来の観測の両方を予測します。実験の結果、これらの系は異なる利点を持つことが示されます。前者は時間的により一貫したロールアウトを提供し、後者は未見の環境への汎化性能がより高いことが分かりました。これらの観察を総合すると、統一されたタスク設定の下で、言語グラウンディング、イマジネーション（想像）、および方策学習を共同で研究する価値が示唆され、LCVNは言語条件付き世界モデルのさらなる調査のための具体的な基盤を提供します。コードは https://github.com/F1y1113/LCVN で公開されています。