NymeriaPlus: 追加の注釈とデータで Nymeria データセットを拡充

要約: Nymeriaデータセットは2024年に公開され、複数の自己中心型ウェアラブルデバイスで捉えられた現実世界の人間活動の大規模コレクションで、空間的に局在化され、時間的に同期されています。モーションキャプチャスーツで記録された身体運動の地上真実データ、デバイスの軌跡、半密度の3D点群、そして文脈内のナレーションを提供します。本論文ではNymeriaをアップグレードし、NymeriaPlusを導入します。NymeriaPlusの特徴は以下のとおりです： (1) Momentum Human Rig (MHR) および SMPL 形式における人間の動作の改善； (2) 室内オブジェクトおよび構造要素の高密度な3Dおよび2D境界ボックスアノテーション； (3) インスタンスレベルの3Dオブジェクト再構築； (4) basemap録画、音声、リストバンド動画などの追加モダリティ。これらの補完的モダリティとアノテーションを1つの統一された、整合性のあるベンチマークに統合することにより、NymeriaPlusはNymeriaを野外環境での自己視点データセットとしてより強力なものへと強化します。既存の自己視点リソースの重要なギャップを埋め、身体化AIのためのマルチモーダル学習の独自の探究を含む、より広範な研究領域を支援することを期待します。