抄録: 時間を通じた正確かつ一貫した果実のモニタリングは、自動化された農業生産システムへ向けた重要なステップである。しかしこの課題は、果実の大きさや形状のばらつき、遮蔽（オクルージョン）、向き、さらに、果樹園が動的であり観測の間に果実が現れたり消えたりし得るという特性のため、本質的に難しい。本論文では、時間の経過に伴って取得された3D地上（テレストリアル）点群に対し、果実のインスタンスセグメンテーションと再同定を行う新しい手法を提案する。我々のアプローチは密な着色点群に対して直接処理を行い、きめ細かな3D空間情報を捉える。点群に直接適用する学習ベースのインスタンスセグメンテーション手法により、個々の果実を分割する。分割された各果実については、3Dスパース畳み込みニューラルネットワークを用いて、コンパクトで弁別的な記述子を抽出する。異なる時刻にわたって果実を追跡するために、注意（アテンション）ベースのマッチングネットワークを導入し、果実を過去のセッションにおける対応物と関連付ける。マッチングは確率的割当（プロバビリスティック・アサインメント）の枠組みにより実施し、時間をまたいで最も可能性の高い対応関係を選択する。我々は、イチゴとリンゴの実世界データセットで提案手法を評価し、インスタンスセグメンテーションと時間的再同定の両方において既存手法を上回ることを示す。これにより、複雑で動的な果樹園環境においても、頑健で正確な果実モニタリングを実現する。
キーワード = 農業ロボティクス, 3D果実トラッキング, インスタンスセグメンテーション, 深層学習 , 点群, スパース畳み込みネットワーク, 時間モニタリング
色付きポイントクラウドによる3Dインスタンスセグメンテーションと再識別を用いた園芸の時間的果実モニタリング
arXiv cs.RO / 2026/4/10
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、果樹園の動的な環境において、果実の外観が変化したり、観測時に遮蔽されたり、時間をまたいで再出現／消失したりしうる中で、時系列にわたって果実を正確かつ一貫してモニタリングするという課題に取り組む。
- 個々の果実を分離するために、密な色付き地上型ポイントクラウドに対してインスタンスセグメンテーションを直接適用する3Dポイントクラウド手法を提案する。
- 異なる時間セッション間で同一の果実を再識別するために、3Dスパース畳み込みニューラルネットワークを用いて識別に有効な記述子を計算し、その後、注意（アテンション）ベースの関連付けネットワークで果実同士をマッチングする。
- 時間をまたぐマッチングは、確率的割当（プロバビリスティック・アサインメント）方式によって解き、セッション間の果実対応として最も可能性の高い組合せを選択する。
- 実データのいちごおよびりんごのデータセットでの実験により、インスタンスセグメンテーションと時間的再識別の両方において既存手法よりも性能が向上し、自動化された農業システムにより頑健な果実追跡を可能にすることを示す。
