オープンワールドでのロボットマニピュレーションに向けた継続的ハンドアイキャリブレーション

Abstract

視覚的ローカライズによるハンド・アイ・キャリブレーションは、オープンワールド環境におけるロボットの操作にとって重要な機能である。しかしながら、ほとんどの深層学習ベースのキャリブレーションモデルは、オープンワールドのシーン変化の中で未見データへ適応する際に、壊滅的忘却（catastrophic forgetting）に悩まされる。一方で、単純なリハーサル（再学習）ベースの継続学習戦略では、この問題を十分に緩和できない。そこで本研究では、空間的リプレイ戦略と構造保持蒸留により、ロボットが連続的に遭遇するオープンワールドの操作シーンへ適応可能とする、継続的ハンド・アイ・キャリブレーションの枠組みを提案する。具体的には、Spatial-Aware Replay Strategy（SARS）は、各シーンの姿勢空間を包括的にカバーする幾何学的に一様なリプレイ・バッファを構築し、冗長な隣接フレームを、最大限に情報量の多い視点に置き換える。さらに、Structure-Preserving Dual Distillation（SPDD）を提案し、ローカライズの知識を粗いシーン配置と精密な姿勢推定に分解し、それらを別々に蒸留することで、継続的適応中の忘却の両方のタイプを緩和する。新しい操作シーンが到来すると、SARSは過去の全シーンから幾何学的に代表的なリプレイ・サンプルを提供し、SPDDはそれらのサンプルに対して構造化蒸留を適用することで、これまでに学習した知識を保持する。新シーンで学習した後、SARSは将来のリハーサルのために新シーンから選択したサンプルをリプレイ・バッファに組み込む。これにより、モデルは複数シーンにわたるキャリブレーション能力を継続的に蓄積できる。複数の公開データセットに対する実験では、シーン忘却に対する顕著な性能が示され、過去シーンでの精度を維持しつつ新シーンへの適応を損なわないことが確認され、提案枠組みの有効性が裏付けられた。