ReMemNav：ゼロショット物体ナビゲーションのための、再考とメモリ増強フレームワーク

概要: ゼロショット物体ナビゲーションでは、エージェントが事前の地図やタスク固有の学習なしに、未見の目標物体を未知の環境で発見することが求められますが、これは依然として大きな課題です。最近のビジョン・ランゲージモデル（VLM）の進歩は、このタスクに対する有望な常識的推論能力を提供します。しかし、これらのモデルは依然として、空間的な幻覚、局所的な探索の行き詰まり、そして高レベルの意味意図と低レベル制御との断絶に悩まされています。この点に関して、私たちはVLMとシームレスに統合する階層型ナビゲーション枠組み「ReMemNav」を提案します。ReMemNavは、パノラマの意味的事前知識とエピソード記憶を、VLMと統合します。VLMの空間推論プロセスを支えるために、「Recognize Anything Model」を導入します。さらに、エピソード意味バッファキューに基づく、適応的なデュアルモーダルの再考メカニズムを設計します。このメカニズムは、歴史的メモリを用いて目標の可視性を積極的に検証し、行き詰まりを防ぐために決定を修正します。低レベルの行動実行においては、ReMemNavは深度マスクを用いて実行可能な行動の系列を抽出し、VLMがそれを実際の空間的移動に対応づける際の最適な行動を選択できるようにします。HM3DおよびMP3Dでの大規模な評価により、ReMemNavが成功率と探索効率の両方において、既存の学習不要なゼロショット・ベースラインを上回ることを示します。具体的には、絶対的な性能向上が顕著であり、HM3D v0.1ではSRとSPLがそれぞれ1.7%と7.0%増加し、HM3D v0.2では18.2%と11.1%増加し、MP3Dでは8.7%と7.9%増加します。