モバイル農業ロボットによる圃場での自律的かつ頑健なブドウ樹幹ローカライゼーションのための、アノテーションから検出へのフレームワーク

要旨: 農地の動的で異種な性質は、物体検出と位置特定に大きな課題をもたらします。とりわけ、これまでに見たことのない非構造化環境を調査する任務を負った自律移動ロボットにおいては顕著です。同時に、大規模な手作業でラベル付けされた実世界データセットに依存しないリアルタイム検出システムへの需要が高まっています。本研究では、限られたかつ部分的にラベル付けされた学習データを用いて、堅牢なマルチモーダル検出器を学習するための包括的な「アノテーションから検出へ」の枠組みを提案します。提案手法は、クロスモーダルなアノテーション転送と、初期段階のセンサフュージョンのパイプラインを組み込み、さらにマルチステージの検出アーキテクチャと連携させることで、システムのマルチモーダル検出能力を効果的に学習し、強化します。この枠組みの有効性は、多様な照明条件と作物密度の異なる新しいブドウ園環境におけるつる（ぶどうの）幹の検出によって実証され、性能を検証しました。カスタマイズしたマルチモーダルLiDARおよびオドメトリ・マッピング（LOAM）アルゴリズムと、木の関連付けモジュールを統合すると、システムは高性能な幹の位置特定を示し、1回の走行で70%超の樹木を正常に同定し、平均距離誤差は0.37m未満でした。これらの結果は、マルチモーダルでインクリメンタル（段階的）なアノテーションと学習を活用することで、提案した枠組みが、限られた初期アノテーションに依存せずに堅牢な検出性能を達成できることを明らかにしており、実世界および地表近傍の農業応用に向けた可能性を示しています。