効率的で汎用性の高いビジョン・ランゲージナビゲーションのための構造化観測言語

Abstract

視覚言語ナビゲーション（VLN）では、身体化されたエージェントが自然言語の指示に従って複雑な環境を移動する必要があり、これは通常、視覚と言語モダリティの密な融合を要求します。既存のVLN手法はしばしば、生画像を視覚トークンや暗黙的特徴に変換することで対応しますが、そのためには大規模な視覚事前学習が必要であり、さらに環境の変化（例：照明、質感）に対する汎化性能が低いという問題があります。これらの課題に対処するために、我々はSOL-Nav（Structured Observation Language for Navigation）を提案します。これは、前方視（自己中心）の視覚観測を、効率的で汎化可能なナビゲーションのためのコンパクトな構造化言語記述へと変換する新しい枠組みです。具体的には、RGB-D画像をN*Nグリッドに分割し、各グリッドセルから代表的な意味・色・深度情報を抽出して構造化テキストを形成します。そして、この構造化テキストを言語指示と連結し、それを事前学習済み言語モデル（PLM）への純粋な言語入力として与えます。標準的なVLNベンチマーク（R2R、RxR）および実環境での展開に関する実験結果は、SOL-Navがモデルサイズと学習データ依存を大幅に削減し、PLMの推論および表現能力を十分に活用でき、さらに未見の環境に対して強力な汎化を達成することを示しています。