OmniRobotHome：リアルタイムなマルチアディック（複数主体）ヒューマン・ロボット相互作用のためのマルチカメラ・プラットフォーム

概要: 人とロボットの協調（ヒューマンロボット協働）は、主として二者間（dyadic）または逐次的（sequential）な設定で研究されてきました。しかし、実際の家庭環境では、複数の人間とロボットが同一の作業空間を共有し、空間的・時間的な結合が厳密なまま、入れ子の形で組み合わされた部分タスクに対して同時並行に作用する、多者間（multiadic）協調が必要になります。この領域は、近接した相互作用によって人・ロボット・対象物の間で持続的な遮蔽（occlusion）が生じ、さらに状態変化が急速に起こるため、信頼できるリアルタイム3D追跡が中核的ボトルネックとなることから、依然として十分に調査されていません。既存のプラットフォームでは、このレジームを実験的に扱いやすくするために必要な、リアルタイムで遮蔽に頑健な（occlusion-robust）ルームスケールの知覚が提供されていません。私たちは、共有された世界座標系において、複数ロボットの協調的なアクチュエーションと、広域のリアルタイム3D人間・対象物知覚を統合する、最初のルームスケール居住環境プラットフォームであるOmniRobotHomeを提案します。このシステムは、自然な家庭環境に48台のハードウェア同期RGBカメラを配備し、マーカレスで、遮蔽に頑健な複数の人間および対象物の追跡を実現します。これは、ライブなシーン状態に作用する2台のFrankaアームと時間的に整合（temporally aligned）させています。一貫したこのフレーム内での連続的な取得は、蓄積された軌跡に基づく長期（long-horizon）な人間行動モデリングもさらに支えます。このプラットフォームにより、多者間協調レジームが実験的に扱いやすくなります。私たちは2つの中心課題に焦点を当てます。すなわち、共有された人とロボットの環境における安全性と、人の予測（anticipation）に基づくロボット支援です。そして、リアルタイム知覚と蓄積された行動メモリのそれぞれが、双方に対して測定可能な利得をもたらすことを示します。