協調ビューに基づく教師なしマルチエージェントおよびシングルエージェント知覚

Abstract

LiDARベースのマルチエージェントおよびシングルエージェントの知覚は、ロボットや自動運転車における環境理解で有望な性能を示してきました。しかし、教師なしの形でマルチエージェントとシングルエージェントの両方の知覚を同時に解決する既存手法はありません。本論文では、通信により複数のエージェント間でセンサデータを共有することで、2つの重要な洞察を明らかにします。1）協調ビューからデータ共有を行うことで点群密度が改善され、教師なしの物体分類に有益であること、2）複数エージェントの協調ビューは、シングルビューにおける3D物体検出の教師なしガイダンスとして利用できることです。これら2つの洞察に基づき、本論文では、人手による注釈なしで、マルチエージェント協調を活用してマルチエージェントとシングルエージェントの両方の知覚を同時に解決する、教師なしマルチエージェントおよびシングルエージェント（UMS）知覚フレームワークを提案します。UMSは、マルチエージェントの点群密度の協調の後に候補提案（candidate proposals）をより良く分類するための学習ベースのProposal Purifying Filterと、その後に、易しいものから難しいものへ段階的に進むカリキュラム学習によって扱いやすい擬似ラベル（pseudo labels）を生成するProgressive Proposal Stabilizingモジュールを組み合わせます。さらに、マルチエージェントの協調ビューを用いてシングルエージェントビューでの検出を導くためのCross-View Consensus Learningも設計します。2つの公開データセットV2V4RealおよびOPV2Vでの実験結果は、教師なし設定において、我々のUMS手法がマルチエージェントおよびシングルエージェントの知覚タスクの両方で、最先端手法よりも有意に高い3D検出性能を達成したことを示しています。