ロボットはどの再構成モデルを使うべきか？ コストを考慮したロボット操作のための画像から3Dモデルへのルーティング

Abstract

ロボティックなマニピュレーション課題では、品質の異なる3Dメッシュ復元が必要となります。器用な操作にはきめ細かな表面のディテールが要求される一方、衝突のない計画ではより粗い表現で許容されます。複数の復元手法は、画像から3Dへのモデルのように、出力品質が入力の視点に大きく依存するものから、構造化ライトスキャニングのような視点不変の手法まで、さまざまなコストと品質のトレードオフを提供します。すべてのモデルを照会することは計算的に不可能であるため、入力ごとのモデル選択が動機づけられます。我々はSCOUTを提案します。これは、新しいルーティング（経路選択）フレームワークであり、復元スコアを2つの成分に分解することで切り離します：（1）視点依存モデルの相対的な性能で、学習された確率分布として表現されるもの、そして（2）画像全体の難しさで、スカラーの分配関数推定として表現されるものです。学習ネットワークは視点依存モデル上でのみ動作するため、視点不変のパイプラインは再学習なしで追加・削除・再構成が可能です。SCOUTは、推論時に任意のコスト制約もサポートし、ロボティクスで一般的な多次元のコスト制約に対応します。Google Scanned Objects、BigBIRD、YCBの各データセットに対し、複数のメッシュ品質メトリクスで評価を行い、さまざまなコスト制約のもとで、LLM文献から適応したルーティングのベースラインに対して一貫した改善を示します。さらに、本フレームワークをロボティックハーシングおよび器用なマニピュレーションの実験によって検証します。コードおよび追加の結果は、我々のウェブサイトで公開します。