変形を用いた6D物体ポーズ推定の探究

Abstract

本稿では、6DoF変形物体のための大規模データセットであるDeSOPEを提示します。ほとんどの6D物体姿勢推定手法は、剛体または関節状（関節化）された物体を前提としていますが、物体が摩耗、衝撃、変形などにより正準（canonical）な形状から逸脱するため、この前提は実運用では破綻します。これをモデル化するために、DeSOPEデータセットを導入します。このデータセットは、26の一般的な物体カテゴリについて高忠実度な3Dスキャンを収録しており、それぞれについて1つの正準状態と3つの変形状態を撮影し、正準メッシュへの正確な3D登録（registration）を備えています。さらに、RGB-Dデータセットとして、多様な状況にまたがる133Kフレームと、セミオートマティックなパイプラインで生成された665K件の姿勢アノテーションを提供します。まず各インスタンスごとに2Dマスクをアノテーションし、つづいて物体姿勢推定手法により初期姿勢を計算し、物体レベルのSLAMシステムでそれらを洗練（refine）し、最後に手動による検証を行って最終アノテーションを作成します。いくつかの物体姿勢推定手法を評価した結果、変形の増大に伴って性能が急激に低下することが分かり、そのような変形を頑健に扱うことが実用上重要であることを示唆しています。プロジェクトページとデータセットは https://desope-6d.github.io/}{https://desope-6d.github.io/ にて利用可能です。