クエリを制御せよ：カメラ・レーダー融合のための異種クエリ相互作用

Abstract

自動運転において、カメラ・レーダ融合は補完的なセンシングと低い導入コストを提供します。既存手法では、入力の混合、特徴マップの混合、またはクエリに基づく特徴サンプリングによって融合を行っています。私たちは、異種クエリ相互作用と呼ぶ新しい融合パラダイムを提案し、カメラ・レーダの3D物体検出器であるConFusionを提示します。ConFusionは、画像クエリ、レーダクエリ、そして3D空間に分散配置された学習可能なワールドクエリを組み合わせることで、クエリの初期化と物体のカバレッジを改善します。異種クエリ間の相互作用を促すために、特徴サンプリング後に専用の異種タイプ間アテンションを実行して、補完的な物体の証拠を統合する、異種クエリ混合（QMix）を導入します。さらに、アテンションと幾何学的制約のもとで関連するクエリ同士が情報量のある特徴トークンを交換できるようにして特徴サンプリングを改善する、インタラクティブなクエリスワップサンプリング（QSwap）も提案します。nuScenesデータセットでの実験により、ConFusionは最先端の性能を達成し、検証セットで59.1 mAPおよび65.6 NDS、テストセットで61.6 mAPおよび67.9 NDSをそれぞれ得ています。