DyGeoVLN：動的ジオメトリ基盤モデルを視覚言語ナビゲーションへ注入する

Abstract

視覚言語ナビゲーション（VLN）では、エージェントが視覚観測と、言語による指示を理解して、未見の環境内を移動できることが求められます。既存の多くの手法は静的なシーンの前提に依存しているため、動的で現実世界のシナリオへの汎化が難しいという課題があります。この課題に対処するため、我々はDyGeoVLNという動的ジオメトリに着目したVLNフレームワークを提案します。我々の手法は、交差ブランチの特徴融合を通じて、動的ジオメトリ基盤モデルをVLNフレームワークに組み込み、明示的な3D空間表現と視覚-意味推論を可能にします。長い時間範囲にわたる動的ナビゲーションにおいて、過去のトークン情報を効率的に圧縮するため、さらに新規の「ポーズフリーかつ適応的解像度のトークンプルーニング」戦略を導入します。この戦略により、推論コストを削減するために、時空間的に冗長なトークンを除去できます。大規模な実験の結果、我々の手法は複数のベンチマークで最先端の性能を達成し、現実世界の環境において強い頑健性を示すことが確認されました。