劣化した深度計測に対するナビゲーションのためのクロスモーダル強化学習

要旨: 本論文は、頑健なナビゲーションのために深度画像とグレースケール画像からの補完的情報を活用する、クロスモーダル学習フレームワークを提案する。深度に関する計測が破損した場合でも、グレースケール観測から深度に関連する特徴を推定できるようにするために、クロスモーダル一貫性を強制することで共有潜在表現を学習する、Cross-Modal Wasserstein Autoencoder（クロスモーダル・ワッサーシュタイン・オートエンコーダ）を導入する。学習された表現は、深度センサーが不十分な照明や反射面といった悪条件によって劣化している際に、非構造環境における衝突回避のナビゲーションのための強化学習ベースの方策と統合される。シミュレーションおよび実環境での実験により、本手法は大幅な深度劣化下でも頑健な性能を維持し、実環境へもうまく転移できることを示す。