EgoLive：実世界の人の作業から収集した大規模な自視点（egocentric）データセット

概要: ロボット学習の進展は現在、大規模で高品質なデータセットの不足によって妨げられています。テレオペレーションやユニバーサル・マニピュレーション・インターフェースといった確立されたデータ収集手法が、現在のデータセットを主に支配している一方で、それらはスケーラビリティや現実環境での展開可能性という点で本質的な制約を抱えています。これに対し、ヒトの自己視点（エゴセントリック）動画の収集は、スケーラブルで自然かつ「そのままの環境」でのデータ収集を可能にする有望なアプローチとして注目されるようになりました。そこで本論文では、ロボットの操作学習のために明示的に設計された、大規模で高品質な自己視点データセット EgoLive を提示します。EgoLive は、既存の自己視点データセットに対して 3 つの独自な技術的利点を確立しています。第一に、これまでで最大の、現実世界のタスク志向の人のルーチンに焦点を当てたオープンソースの注釈付き自己視点データセットです。第二に、専用の頭部装着型キャプチャデバイスと、包括的で高精度なマルチモーダル注釈により、最先端のデータ品質を提供します。第三に、すべてのデータは拘束のない現実世界の状況でのみ収集され、家庭内サービス、小売、その他の実務的な作業シナリオを含む垂直フィールドでの人の作業データが含まれており、より高い多様性と生態学的妥当性を実現しています。EgoLive の導入により、一般化可能なロボットモデルの飛躍を加速し、ロボットシステムの現実世界での実展開を促進する、スケーラブルで高品質なデータセットを研究コミュニティに提供することを目指します。