CompassAD：意図駆動型の3Dアフォーダンス基盤化—機能的に競合する物体における

Abstract

「りんごを切れ」と指示されたとき、ロボットは近くのはさみではなくナイフを選ばなければならない。これは、どちらの物体も同じ切断機能を提供しているにもかかわらずである。実世界のシーンでは、複数の物体が同一のアフォーダンスを共有することがありうるが、与えられたタスクの文脈のもとで適切なのはただ一つの物体である。このような状況を紛らわしいペアと呼ぶ。しかし、既存の3Dアフォーダンス手法は概ねこの課題を回避しており、しばしば、クエリに明示的なカテゴリ名が与えられる中で、孤立した単一物体を評価することで済ませている。私たちは、「意図に基づく指示」によるMulti-Object Affordance Grounding（複数物体アフォーダンスの位置特定）を形式化する。これは、新しい3Dアフォーダンスの設定であり、暗黙の自然言語による意図に条件付けられた、雑然とした複数物体の点群の中で、正しい物体上の1点ごとのアフォーダンスマスクを予測することを要求する。この問題を研究するために、紛らわしい複数物体シーンにおける暗黙の意図を中心に据えた最初のベンチマークであるCompassADを構築する。CompassADは、16種類のアフォーダンスにまたがる30の紛らわしい物体ペア、6,422シーン、そして88K+のクエリ・回答ペアで構成される。さらに、このタスクに特化した2つの専用モジュールを組み込む枠組みCompassNetを提案する。Instance-bounded Cross Injection（ICI）は、物体境界内における言語-幾何整合を制約し、物体をまたいだ意味の漏れ（クロスオブジェクトのセマンティックリーク）を防ぐ。Bi-level Contrastive Refinement（BCR）は、幾何学的グループレベルと点レベルの両方で識別性を強制し、ターゲットと紛らわしい表面の差異をより鮮明にする。大規模な実験により、見たことのあるクエリと見ていないクエリの両方で最先端の結果が示され、ロボットマニピュレータへの実装により、紛らわしい複数物体シーンにおける実世界の把持（グラスピング）へ効果的に転移できることが確認される。