DSERT-RoLL：ステレオ・イベントRGB・サーマルカメラ、4Dレーダー、デュアルLiDARによる多様な走行環境に対する堅牢なマルチモーダル認識

Abstract

本論文では、DSERT-RoLLという走行データセットを提案する。これは、ステレオイベントカメラ、RGBカメラ、サーマルカメラに加えて、4DレーダーおよびデュアルLiDARを統合し、多様な天候および照明条件のもとで収集したものである。このデータセットは、追跡IDと自己車両（ego vehicle）のオドメトリを含む、正確な2Dおよび3Dバウンディングボックスを提供し、センサ組み合わせの内部およびセンサ組み合わせ間での公平な比較を可能にする。イベントカメラや4Dレーダーのような新規センサに対するデータ不足を緩和し、それらの挙動に関する体系的な研究を支援することを目的としている。さらに、センサファミリ間および各ファミリ内で、特性や強みを直接比較できる統一的な3Dおよび2Dベンチマークを構築する。代表的な単一モダリティおよびマルチモダリティ手法のベースラインを報告し、異なる融合戦略やセンサ組み合わせに関する研究を促すプロトコルも提供する。加えて、センサ固有の手がかり（キュー）を統一された特徴空間に統合する融合フレームワークを提案し、多様な天候および照明下での3D検出の頑健性を向上させる。