TacVLA：接触を意識した触覚融合による堅牢な視覚言語行動操作

要旨: Vision-Language-Action（VLA）モデルはロボットによるマニピュレーションにおいて大きな利点を示してきました。しかし、視覚と言語への依存が強いため、視覚の遮蔽、微細なマニピュレーション、身体的接触を伴うタスクでは最適でない性能につながることがしばしばあります。これらの課題に対処するために、本研究では、トランスフォーマー型ポリシーに触覚モダリティを取り込むことで微細なマニピュレーション能力を高める、微調整済みVLAモデルTacVLAを提案します。具体的には、接触が検出されたときにのみ触覚トークンを選択的に活性化する、接触認識に基づくゲーティング機構を導入します。これにより、無関係な触覚による干渉を避けつつ、適応的なマルチモーダル融合が可能になります。融合された視覚・言語・触覚トークンは、トランスフォーマーのアーキテクチャ内で共同で処理され、接触が多い相互作用におけるクロスモーダルな基盤づけ（grounding）を強化します。拘束ロック式の分解、インボックスでのピッキング、頑健性評価に関する大規模な実験により、本モデルがベースラインを上回り、分解では成功率を平均20%向上、インボックスでのピッキングでは60%向上、さらに視覚の遮蔽がある状況では2.1倍の改善を達成することが示されます。動画は https://sites.google.com/view/tacvla で利用可能で、コードは公開されます。