言うべきことを明確に：視覚的に根拠付けられた指示ポリシー

Abstract

視覚-言語-行動（VLA）モデルは、視覚と、身体化された制御を伴う言語を整合させますが、テキストプロンプトのみに依存する場合、物の指示（参照）能力は特に散らかった（cluttered）状況や分布外（OOD）シーンでは限定的なままです。本研究では、参照の曖昧さを解消し、対象物レベルの正確なグラウンディングを可能にするために、明示的な視覚的手がかり（例：バウンディングボックス）で言語指示を補強する、プラグアンドプレイの方策であるPoint-VLAを提案します。さらに、視覚的にグラウンディングされたデータセットを効率的に拡張するために、人手を最小限にする自動データ注釈パイプラインも開発します。多様な実世界の参照タスクにおいてPoint-VLAを評価したところ、テキストのみの指示型VLAよりも一貫して強い性能を示し、特に散らかった状況や未見の対象物が登場するシナリオで顕著でした。また、堅牢な汎化が確認されます。これらの結果は、Point-VLAがピクセルレベルの視覚的グラウンディングを通じて物の参照の曖昧さを効果的に解決し、より汎用性の高い身体化された制御を実現できることを示しています。