PanDA：自動運転向けマルチモーダル3D汎割領域セグメンテーションにおける教師なしドメイン適応

Abstract

本論文は、実世界の自動運転で一般的に遭遇するドメインシフト下での汎化性能の向上を目的として、多モーダル3Dパノプティックセグメンテーション（mm-3DPS）に対する教師なしドメイン適応（UDA）の最初の研究を提示する。単純な解決策としては、UDAで広く用いられる疑似ラベリング戦略によりラベルなしのターゲットデータに対する監督信号を生成し、これとmm-3DPSバックボーンを組み合わせることが考えられる。しかし、既存の教師ありmm-3DPS手法は、LiDAR入力とRGB入力の間に強いクロスモーダル補完性を強く依存しており、いずれかのモダリティが劣化するようなドメインシフト（例えば、照明不良や悪天候）に対して脆弱である。さらに、従来の疑似ラベリングは通常、高信頼領域のみを保持するため、マスクが断片化し、オブジェクトに対する不完全な監督となる。これは、パノプティックセグメンテーションにとって特に有害な問題である。これらの課題に対処するため、我々は、多モーダル3Dパノプティックセグメンテーションに特化して設計された、最初のUDAフレームワークであるPanDAを提案する。単一センサの劣化に対するロバスト性を高めるために、ドメインシフトを模擬するように領域を選択的にドロップする非対称なマルチモーダル拡張を導入し、頑健な表現学習を促す。疑似ラベルの完全性と信頼性を高めるために、さらに、2Dモダリティと3Dモダリティの両方からドメイン不変な事前知識を抽出するデュアルエキスパートの疑似ラベル洗練モジュールを開発する。時間、天候、場所、センサの違いにまたがる、多様なドメインシフトに関する大規模な実験の結果、3Dセマンティックセグメンテーションにおける最先端のUDAベースラインを大幅に上回ることを示す。