SpaceSense-Bench: 宇宙船の認識と姿勢推定のための大規模マルチモーダルベンチマーク

要約: 軌道上サービスやアクティブデブリ除去などの自律宇宙作業には、対象宇宙船のパーツレベルのセマンティック理解と正確な相対ナビゲーションが求められるが、軌道上で大規模な実データを収集することはコストとアクセスの制約から依然として困難である。既存の合成データセットは、対象の多様性不足、単一モダリティのセンシング、グラウンドトゥルース注釈の不完全さに課題がある。そこで我々は、136基の衛星モデルを含み約70GBのデータを有する大規模なマルチモーダル宇宙船認識ベンチマーク「SpaceSense-Bench」を提案する。各フレームには、時刻同期した1024×1024のRGB画像、ミリメートル精度の深度マップ、256ビームLiDAR点群、ピクセルおよび点レベルでの密な7クラスのパーツレベルセマンティックラベル、および正確な6自由度姿勢のグラウンドトゥルースが提供される。本データセットはUnreal Engine 5で構築された高忠実度宇宙シミュレーションと、データ取得・多段階品質管理・主流フォーマットへの変換を含む完全自動化パイプラインにより生成された。我々は5つの代表的タスク（物体検出、2Dセマンティックセグメンテーション、RGB-LiDAR融合による3D点群セグメンテーション、単眼深度推定、姿勢推定）でベンチマークを行い、(i) 小規模部品（スラスターやオムニアンテナ等）の認識および未知宇宙船へのゼロショット一般化が現行手法の重大なボトルネックであること、(ii) 訓練用衛星数の拡大が未知ターゲットに対する性能向上に大きく寄与すること、すなわち宇宙認識研究における大規模かつ多様なデータセットの価値を指摘した。データセット、コード、ツールキットはhttps://github.com/wuaodi/SpaceSense-Bench で公開されている。