自律型ハードドライブ解体のためのフリンジ投影に基づくビジョン・パイプライン

要旨: 回収されない電子廃棄物は、重大な経済的損失を表す。ハードディスクドライブ（HDD）は価値の高い電子廃棄物の流れを構成しており、ロボットによる分解が必要となる。HDDの分解を自動化するには、ホリスティックな3Dセンシング、シーン理解、およびファスナー（留め具）のローカライズが必要であるが、現在の手法は断片的であり、頑健な3Dセンシングを欠き、またファスナーのローカライズも欠いている。そこで我々は、自律型のビジョン処理パイプラインを提案する。このパイプラインでは、Fringe Projection Profilometry（FPP）モジュールを用いて3Dセンシングを行い、FPPが失敗する場合に限って深度補完モジュールを選択的に起動する。さらに、このモジュールを、軽量なリアルタイムのインスタンスセグメンテーション・ネットワークと統合し、シーン理解と重要構成要素のローカライズを実現する。我々は、深度センシングモジュールと構成要素ローカライズモジュールの両方に同一のFPPカメラ・プロジェクタシステムを利用することで、生成される深度マップおよびそこから得られる3Dジオメトリが、登録なしでセグメンテーションマスクと本質的に画素単位で整合する。この点は、産業用センシングで一般的なRGB-D知覚システムに対する利点となる。我々は、配備（デプロイメント）向け推論のために、訓練した深度補完ネットワークとインスタンスセグメンテーションネットワークの両方を最適化する。提案システムは、インスタンスセグメンテーションにおいてbox mAP@50が0.960、mask mAP@50が0.957を達成する。また、Depth Anything V2 Baseバックボーンを用いた選択した深度補完構成は、RMSEが2.317 mm、MAEが1.836 mmである。さらに、評価用ワークステーション上で、Platter Facingの学習済み推論スタックは、合計レイテンシ12.86 ms、スループット77.7 Frames Per Second（FPS）を達成した。最後に、物理データセットを拡張するために、sim-to-realの転移学習アプローチを採用する。提案する知覚パイプラインは、高精度な意味情報と空間情報の両方を提供でき、下流のロボット分解に有用である可能性がある。HDDのインスタンスセグメンテーション用に開発した合成データセットは、公開される予定である。