ImagineNav++：シーン想像による身体性ナビゲーションとしての視覚言語モデルへのプロンプト

抽象: 視覚ナビゲーションは、自律的な家庭支援ロボットにとって基盤となる能力であり、物体探索のような長期的なタスクを可能にします。近年の手法では、大規模言語モデル（LLM）を活用して常識的な推論を取り込み、探索効率を高めることが試みられていますが、それらの計画はテキスト表現により制約されており、空間の占有やシーンの幾何学を十分に捉えることができません。これはナビゲーション判断にとって重要な要素です。そこで本研究では、視覚言語モデル（VLM）が、オンボードのRGB/RGB-Dストリームのみを用いて、マップレスな視覚ナビゲーションを実現できるかどうかを探ります。これにより、空間認識と計画の潜在力を引き出します。我々は、想像力に動力を得たナビゲーションの枠組み、ImagineNav++を通じてこの目的を達成します。この枠組みでは、ロボットの候補ビューから将来の観測画像を想像し、VLMのための単純な最良ビュー選択問題へとナビゲーション計画を変換します。まず、将来ビューの想像モジュールが、人間のナビゲーション嗜好を蒸留して、探索の可能性が高い意味的に有意な視点を生成します。これらの想像されたビューは、その後、VLMへの視覚的プロンプトとして機能し、最も有益な視点を特定します。空間的な整合性を維持するために、選択的フョーブレーション・メモリ機構を開発します。この機構は、疎から密への枠組みにより重要となるキーフレーム観測を階層的に統合し、長期的な空間推論のための、コンパクトでありながら包括的なメモリを構築します。このアプローチにより、目標指向のナビゲーションを一連の、扱いやすいポイントゴール・ナビゲーション課題へと変換します。オープンボキャブラリの物体およびインスタンス・ナビゲーションのベンチマークに対する大規模な実験の結果、ImagineNav++はマップレス設定においてSOTAの性能を達成し、さらに多くのマップベース手法をも上回ることが示されました。これは、VLMベースの空間推論において、シーンの想像とメモリが重要であることを強調しています。