VTouch++：両腕操作のための視覚ベース触覚強化を備えたマルチモーダルデータセット

要旨: 身体化された知能は近年急速に進歩してきましたが、両手による操作、特に接触が多いタスクは依然として困難です。これは主に、豊かな物理的相互作用の信号を含むデータセットが不足していること、タスクを体系的に整理した枠組みが欠けていること、そして十分な規模がないことに起因しています。これらの制約に対処するため、我々はVTOUCHデータセットを導入します。本データセットは、視覚に基づく触覚センシングを活用して高忠実度の物理的相互作用信号を提供し、体系的な学習を可能にするマトリクス形式のタスク設計を採用し、スケーラビリティを確実にするために現実世界の需要主導型シナリオを対象とした自動データ収集パイプラインを用います。さらにデータセットの有効性を検証するために、クロスモーダル・リトリーバルに関する広範な定量実験と、実ロボットでの評価を行います。最後に、複数のロボット、方策（ポリシー）、およびタスクにまたがる汎化可能な推論によって、現実世界での性能を示します。