視点一般化の彼方へ：ロボット操作におけるマルチビュー実演が提供するものと、それらを統合して合成する方法は？

Abstract

多視点デモンストレーションは、ロボットの操作を本当に向上させるのでしょうか、それとも単に視点間の頑健性を高めるだけなのでしょうか？本研究では、ロボット操作における多視点データの性能向上、スケーリング挙動、そして根本的なメカニズムを定量化する体系的な研究を提示します。制御された実験により、固定された背景とランダム化された背景のいずれにおいても、多視点デモンストレーションは単一視点ポリシーの成功率と汎化性能を一貫して向上させることが示されます。性能は視野（view coverage）に対して単調ではなく変化し、「多ければ多いほど良い」という単純な傾向ではなく、効果的な運用領域（レジーム）が明らかになります。特に、多視点データは単一視点データセットのスケーリング限界を打ち破り、飽和後も性能の天井を押し上げ続けます。メカニズム解析では、多視点学習が操作に関連する視覚表現を促進し、学習された特徴分布に対してアクションヘッドをより良く整合させ、過学習を抑制することが示されます。多視点データの重要性と、大規模なロボットデータセットにおけるその希少性、さらに現実環境で追加の視点を収集することの難しさに動機づけられ、単眼入力から新規視点動画を合成する幾何学に配慮した自己教師ありフレームワークであるRoboNVSを提案します。生成されたデータは、シミュレーション環境および実世界環境の双方において、下流のポリシーを一貫して改善します。