果実検出を強化するためのプッシングによる遮蔽（オクルージョン）処理

要旨: 農業ロボティクスにおいて、果実の効果的な観測と自己位置推定（ローカライゼーション）は、枝や葉など他の樹木の部位によって生じる遮蔽（オクルージョン）のために困難である。これらの遮蔽は、誤った果実の位置推定につながる、またはロボットによる果実の採取を妨げる可能性がある。本研究の目的は、果実の視界を遮る枝を押しのけて、その視認性を高めることである。 本構成はRGB-Dカメラとロボットアームから成る。まず、RGB画像において遮蔽された果実を検出し、深度空間における深層学習の生成モデルを用いて遮蔽部分を推定する。遮蔽を解消するために押し出す方向は、従来型の画像処理手法によって決定する。次に、点群内で直線の線分を検出するために、2Dハフ変換の3D拡張を導入する。この拡張により、樹木の枝を検出し、主に遮蔽の原因となっている枝を特定できる。最後に、ロボットアームでその枝を押して遮蔽を解消する。本手法は、果実の外観推定に対する深層学習、押し出し方向の決定に対する従来型の画像処理、枝検出に対する3Dハフ変換の組み合わせを用いる。照明条件の異なる実データおよびさまざまな果実の種類（すなわち、リンゴ、レモン、オレンジ）により知覚手法を検証した結果、視認性の向上と遮蔽の解消の成功を達成した。本アプローチの実用的な適用可能性は、実機のロボットによる枝押しのデモンストレーションを通じて示す。