iTeach：失敗駆動の適応のための、実環境における対話型ロボット知覚ティーチング

概要: ロボティック・パーセプションのモデルは、散らかり、遮蔽、新規の物体インスタンスといった分布外（out-of-distribution）の条件により、実環境に展開するとしばしば機能しません。既存の手法は、このギャップに対してオフラインでデータを収集し再学習することで対応していますが、これは遅く、展開時（deployment-time）の失敗を解決しません。我々は、野外（in the wild）でロボットのパーセプションを適応させるための、失敗駆動型の対話的ティーチング・フレームワークである iTeach を提案します。展開中、近接して配置された人間がモデルの予測を観察し、失敗事例を特定したうえで、短い人と物体のインタラクション（HumanPlay）を行い、RGB-D シーケンスを記録しながら情報量の高い物体配置（オブジェクト構成）を露出させます。注釈（アノテーション）の労力を最小化するために、iTeach は Few-Shot Semi-Supervised（FS3）ラベリング戦略を採用します。この戦略では、短いインタラクション・シーケンスの最終フレームのみを、ハンズフリーの視線誘導（eye-gaze）と音声コマンドを用いて注釈し、そのラベルを動画全体に伝播させることで密な教師信号（dense supervision）を生成します。収集された失敗駆動のサンプルは、反復的な微調整（fine-tuning）に用いられ、パーセプション・モデルの展開時適応を段階的に可能にします。我々は、事前学習済みの MSMFormer モデルから開始し、未見の物体インスタンス分割（UOIS）に対して iTeach を評価します。少数の失敗駆動サンプルによって、提案手法は多様な実世界のシーンにおける分割性能を大幅に向上させます。これらの改善は、SceneReplica ベンチマークにおける把持（grasping）およびピック＆プレース（pick-and-place）の成功率の向上、ならびに実ロボット実験の成功率の向上へと直接つながります。本結果は、失敗駆動型で近接配置された対話的ティーチングが、ロボットのパーセプションを野外で効率的に適応させ、下流の操作（manipulation）性能を改善することを示しています。プロジェクトページ: https://irvlutd.github.io/iTeach