GaussFly：3Dガウス場におけるビジュオモータ方策のための対照的強化学習

要旨: 単眼視覚のみに依存して自律型空中ロボット（AAV）のための制御（ビジュオモータ）ポリシーを学習することは、魅力的である一方、非常に難度の高いパラダイムである。既存のエンドツーエンド学習手法は、高次元のRGB観測をそのまま行動コマンドへ直接対応付けるが、シミュレーション空間と物理世界の間に存在する視覚的な不一致のため、しばしばサンプル効率が低く、またシムツーリアル（sim-to-real）のギャップが深刻になる。これらの長年の課題に対処するため、本研究では、表現学習とポリシー最適化を、統一的な real-to-sim-to-real（実世界→シミュ→現実）のパラダイムを通じて明示的に切り離す、新しい枠組み GaussFly を提案する。まず、高忠実度な実世界からシミュレーションへの移行を実現するために、明示的な幾何学的制約を追加した3Dガウススパッティング（3DGS）により訓練シーンを再構成する。次に、頑健なシムツーリアル転移を確実にするために、これらのフォトリアルなシミュレーション環境を活用し、レンダリングされたRGB画像からコンパクトでノイズに強い潜在特徴を抽出するため、対照学習（contrastive representation learning）を用いる。事前学習済みのエンコーダを用いて低次元の特徴入力をポリシーに与えることで、ビジュオモータポリシーの計算負荷は大幅に軽減されると同時に、視覚ノイズに対する耐性は本質的に向上する。模擬環境および実環境での大規模な実験により、GaussFly がベースラインと比較して優れたサンプル効率と漸近性能を達成することが示される。特に、複雑なテクスチャを持つ未見の実環境に対して、頑健かつゼロショットでポリシーを転移できることを可能にし、シムツーリアルギャップを効果的に架橋する。