偽物か本物か—ロボットは見分けられる？単一視点のロボット環境理解におけるVLMのドメインシフト頑健性評価

概要: ロボティックなシーン理解は、環境を自然言語で記述するために、ますますVision-Language Models（VLMs）に依存するようになっています。本研究では、ロボットマニピュレータによって撮影されたテーブル上のシーンに対する単一視点の物体キャプション生成を体系的に評価します。その際、実世界の道具と、幾何学的に類似した3Dプリント品とを対比する制御された物理ドメインシフトを導入します。両者はテクスチャ、色、素材が異なります。複数の指標にわたって、最先端でローカルにデプロイ可能な一連のVLMをベンチマークし、意味的な整合と事実に基づく根拠づけを評価します。その結果、VLMは一般的な実世界の物体を効果的に記述できる一方で、構造的に馴染みのある形状であっても3Dプリント品では性能が著しく低下することを示します。さらに、標準的な評価指標における重要な脆弱性も明らかにし、いくつかはドメインシフトをまったく検出できない、または流暢だが事実として誤っているキャプションに報酬を与えてしまうことを示します。これらの知見は、身体性のあるエージェントに基盤モデルを展開することの限界を浮き彫りにするとともに、物理ロボティクス応用においてより頑健なアーキテクチャと評価プロトコルが必要であることを示しています。