EDFNet: UAVナビゲーションにおける薄い障害物セグメンテーションのためのエッジと深度の早期融合

Abstract

自律型の無人航空機（UAV）は、ワイヤ、ポール、枝などの薄い障害物を確実に検出し、現実環境で安全に航行しなければなりません。これらの構造は、画素数が少ないため認識が難しく、しばしば視覚的コントラストが弱く、さらにクラス不均衡の影響を強く受けるため、知覚し続けることが困難です。既存のセグメンテーション手法は主としてより粗い障害物を対象としており、薄い構造の知覚に必要な補完的なマルチモーダルな手がかりを十分に活用できていません。本研究では、雑然とした空中シーンにおける薄い障害物知覚のために、RGB、深度、エッジ情報を統合するモジュール型のアーリーフュージョン・セグメンテーション枠組みであるEDFNetを提案します。U-NetとDeepLabV3を用い、事前学習あり・なしの設定で、DDOS（Drone Depth and Obstacle Segmentation）データセットに対して16通りのモダリティ・バックボーン構成でEDFNetを評価します。その結果、アーリーなRGB-Depth-Edge融合は競争力がありバランスの取れたベースラインを提供しており、最も一貫した改善は境界に敏感な指標やリコール重視の指標で見られます。事前学習済みのRGBDE U-Netは、最も高い薄構造評価スコア（0.244）、平均IoU（0.219）、境界IoU（0.234）を達成しつつ、評価用ハードウェア上でも競争力のある実行性能（19.62 FPS）を維持しています。しかし、最も稀な超薄カテゴリに対する性能は、すべてのモデルで依然として低く、信頼性の高い超薄セグメンテーションは依然として未解決の課題であることが示されます。全体として、これらの知見は、UAV航行における薄い障害物セグメンテーションのための実用的かつモジュール型のベースラインとして、アーリーなRGB-Depth-Edge融合を位置づけるものです。