映像データから学習した潜在表現を用いたソフト連続体ロボットの高精度オープンループ制御

要旨: 本研究は、ビデオから学習した潜在ダイナミクスを用いたソフト連続体ロボット（SCR）の開ループ制御に取り組みます。 Visual Oscillator Networks (VONs) は前研究で用いられており、アテンション・ブロードキャスト・デコーダ（ABCD）を介して機械的に解釈可能な2Dオシレーター潜在表現を提供します。
カメラのフィードバックなしに、潜在空間で開ループ・シングルショット最適制御を実行し、画像で指定されたウェイポイントを追跡します。
対話型のSCRライブシミュレータは、静的・動的・外挿的ターゲットの設計を可能にし、それらをモデル固有の潜在ウェイポイントにマッピングします。
2セグメントの空気圧式SCRでは、Koopman、MLP、およびオシレーターのダイナミクスを、ABCDの有無にかかわらず、設定点と動的軌道で評価します。
ABCDベースのモデルは、画像空間での追従誤差を一貫して低減します。
VONおよびABCDベースのKoopmanモデルが最も低いMSEを達成します。
アブレーション研究を用いて、いくつかのアーキテクチャの選択と学習設定が開ループ制御性能に寄与することを示します。
シミュレーション・ストレステストは、静的保持、安定した外挿平衡、および静止状態への妥当な緩和をさらに確認します。
私たちの知る限り、解釈可能でビデオから学習した潜在ダイナミクスが、SCRの長期的な開ループ制御を信頼性高く実現できる、初めてのデモンストレーションです。