120分とラップトップ：教師なし探索とオフラインRLによる最小限の画像目標ナビゲーション

Abstract

画像目標のビジュアルナビゲーションにおける従来の主流パラダイムは、多くの場合、大規模データセットへのアクセス、十分な事前学習、そして大きな計算資源を前提としています。本研究では、この前提に挑戦します。私たちは、データセットを収集し、ドメイン内の方策を学習し、それを実世界に展開できることを示します（1）120分未満で、（2）一般的なコンシューマー向けラップトップ上で、（3）人の介入なしに実現します。我々の手法であるMINavは、画像目標ナビゲーションをオフラインの目標条件付き強化学習問題として定式化し、不明確な（教師なしの）データ収集と、後悔（hindsight）による目標のリラベリング、そしてオフライン方策学習を組み合わせます。シミュレーションおよび実世界での実験により、MINavが探索効率を向上させ、目標環境においてゼロショットのナビゲーション基線を上回り、データセット規模に対して良好にスケールすることが示されます。これらの結果は、有効な実世界ロボティック学習が高い計算効率で達成でき、迅速な方策の試作と展開のハードルを下げられることを示唆しています。