Habitat-GS：ダイナミックなガウシアン・スプラッティングによる高忠実度ナビゲーション・シミュレータ

Abstract

体のあるAIエージェントの学習は、シミュレーション環境の視覚的忠実性と、動的な人間をモデル化できる能力に強く依存します。現在のシミュレータは、限られた視覚的リアリズムしか提供しないメッシュベースのラスター化に依存しており、利用可能な場合でも、動的な人間アバターのサポートはメッシュ表現に制約されているため、人間が存在する現実世界のシナリオへのエージェントの汎化が妨げられます。本稿では、Habitat-Simを拡張したナビゲーション中心の体のあるAIシミュレータであるHabitat-GSを提示します。これは、3Dガウススプラッティングによるシーンレンダリングと、運転可能なガウスアバターを統合しつつ、Habitatエコシステムとの完全な互換性を維持します。我々のシステムは、リアルタイムのフォトリアルなレンダリングのための3DGSレンダラを実装し、さまざまなソースからのスケーラブルな3DGSアセットの取り込みをサポートします。動的な人間のモデリングのために、ガウスアバターモジュールを提案します。このモジュールにより、各アバターは同時にフォトリアルな視覚的実体として機能し、かつ効果的なナビゲーション上の障害物としても機能できるため、現実的な環境において人間を意識した行動をエージェントに学習させることが可能になります。ポイント目標ナビゲーションに関する実験では、3DGSシーンで訓練されたエージェントが、より強いドメイン間汎化を達成し、混合ドメイントレーニングが最も効果的な戦略であることが示されました。アバターを意識したナビゲーションに関する評価でも、ガウスアバターが効果的な人間を意識したナビゲーションを可能にすることがさらに確認されています。最後に、性能ベンチマークにより、シーンの複雑さやアバター数が異なる場合でも、本システムがスケーラブルであることが検証されます。