R4Det: 高性能3D物体検出のための4Dレーダーとカメラの融合

要旨：4Dレーダーとカメラによるセンシング構成は、自動運転においてますます重要になっています。しかし、4Dレーダーとカメラデータを融合する既存の3D物体検出手法はいくつかの課題に直面しています。第一に、絶対深度推定モジュールは頑健性と精度が十分でなく、3D位置推定が不正確になります。第二に、エゴ車の姿勢が欠落しているか不正確な場合、時系列融合モジュールの性能は著しく低下するか、場合によっては機能しなくなります。第三に、小さな物体の一部では、スパースなレーダーポイントクラウドが表面からの反射を完全に捉えられないことがあります。そのような場合、検出は視覚情報の単一モダリティの事前情報のみに依存せざるを得ません。これらの限界に対処するため、私たちはR4Detを提案します。パノラミック深度融合モジュールを介して深度推定の品質を高め、絶対深度と相対深度の相互強化を可能にします。時系列融合には、自車の姿勢に依存しない変形ゲート付き時系列融合モジュールを設計しました。さらに、2Dインスタンスガイダンスからセマンティックプロトタイプを抽出するInstance-Guided Dynamic Refinementモジュールを構築しました。実験の結果、R4DetはTJ4DRadSetおよびVoDデータセットで最先端の3D物体検出結果を達成しました。