APCoTTA：航空LiDAR点群のセマンティックセグメンテーションに向けた継続的テスト時適応

要旨: 飛行体搭載レーザースキャニング（ALS）点群のセマンティックセグメンテーションは、大規模な3次元シーン理解における基礎的な課題である。実世界のシナリオで展開された固定モデルは、環境やセンサの変化に起因する継続的なドメインシフトによって、しばしば性能が劣化する。継続テスト時適応（CTTA）により、ラベルなしの変化し続けるドメインへ適応することが可能だが、ALS点群への適用はベンチマークの不足に加え、破滅的忘却や誤差蓄積のリスクがあることから、十分に調査されていない。これらの課題に対処するために、本研究ではALS点群セマンティックセグメンテーション向けの新しいCTTAフレームワークであるAPCoTTA（ALS Point cloud Continuous Test-Time Adaptation）を提案する。APCoTTAは3つの主要な構成要素から成る。第一に、ALS点群向けに勾配駆動のレイヤ選択メカニズムを適応し、低信頼度のレイヤのみを選択的に更新し、安定したレイヤは固定することで、元（ソース）の知識を保持し、破滅的忘却を抑える。第二に、エントロピーに基づく整合性損失により、信頼できないサンプルを破棄し、信頼できるもののみに対して一貫性の正則化を強制することで、誤差蓄積を効果的に減らし、適応の安定性を高める。第三に、ランダムなパラメータ補間メカニズムにより、適応されたパラメータとソースモデルのパラメータを確率的にブレンドし、ターゲットへの適応とソース知識の保持とのバランスをさらに取る。最後に、ALS点群セグメンテーションに対するCTTAベンチマークの不足を解消するために、ISPRSCとH3DCの2つのベンチマークを構築する。大規模な実験の結果、APCoTTAは両方のベンチマークで優れた性能を達成し、直接推論に比べてmIoUをそれぞれ約9
%および14
%改善する。新しいベンチマークとコードは https://github.com/Gaoyuan2/APCoTTA で公開している。