Abstract
本論文では、純粋に自然な視覚特徴を用いて構成空間におけるロボット・マニピュレータを制御するための、新しい視覚サーボイング（visual servoing）フレームワークを提案する。我々の目的は、特に実行時にロボットへ外部マーカーを取り付けることが現実的でない、または好まれない状況において、視覚ベース制御に用いられるロボット・マニピュレータ上の自然特徴、あるいはキーポイントを頑健に検出・追跡する手法を開発することである。我々のデータ駆動型アプローチのモデル学習プロセスでは、データ収集パイプラインを構築し、ロボットの身体（ボディ）に沿ってArUcoマーカーを取り付け、それらの中心をキーポイントとしてラベル付けしたうえで、インペインティング手法を用いてマーカーを除去し、遮蔽された領域を再構成する。これにより、マーカー位置が自動的にラベル付けされた自然（マーカーレス）なロボット画像を生成する。これらの画像は、キーポイント検出アルゴリズムの学習に用いられ、そのアルゴリズムによりロボットの自然な特徴を使ってロボットの構成（configuration）を制御する。学習画像のラベリングに対して、正確なカメラキャリブレーションやロボットモデルに依存する従来手法とは異なり、本アプローチではインペインティングによってこれらの依存関係を排除する。遮蔽が存在する場合でも頑健なキーポイント検出を実現するために、遮蔽領域を実時間で再構成し、連続的なキーポイント検出を可能にする、2つ目のインペインティングモデルを提案する（これは実行時に利用する）。さらに、キーポイント予測の一貫性と頑健性をより高めるために、Unscented Kalman Filter（UKF）を統合し、時系列でキーポイント推定を洗練させることで、安定で信頼性の高い制御性能に寄与する。本モデルフリーで純粋に視覚ベースの制御戦略により、実行時に自然なロボット特徴を用いて、完全可視および部分的遮蔽の双方の条件下で、成功した制御結果を得た。
