OnlinePG: 3D ガウシアン・スプラッティングによるオンラインオープンボキャブラリパンオプティックマッピング

要約: オンラインパノプティックマッピングを用いたオープンボキャブラリのシーン理解は、環境を知覚し、環境と相互作用する体現型アプリケーションにとって不可欠です。しかし、既存の方法は主にオフラインであったり、インスタンスレベルの理解を欠いており、現実世界のロボットタスクへの適用可能性を制限しています。本論文では、オンライン設定で3Dガウシアン・スプラットを用いた幾何再構成とオープンボキャブラリ知覚を統合する、新規で有効なシステムOnlinePGを提案します。技術的には、オンラインパノプティックマッピングを実現するために、スライディングウィンドウを用いた効率的なローカルからグローバルへのパラダイムを採用します。ローカルの一貫性マップを構築するために、幾何的手掛かりと意味的手掛かりを共同で活用する3Dセグメントクラスタリンググラフを構築し、スライディングウィンドウ内の不整合なセグメントを完全なインスタンスへ統合します。次に、グローバルマップを更新するために、局所的な3Dガウスマップの空間属性を持つ明示的なグリッドを構築し、それらを堅牢な双方向の二部3Dガウスインスタンスマッチングを介してグローバルマップへ融合します。最後に、統合されたVLM特徴を3D空間属性グリッド内で活用し、オープンボキャブラリのシーン理解を実現します。広く使用されているデータセットで行われた広範な実験により、我々の手法はオンラインアプローチの中でもより高い性能を達成しつつ、リアルタイムの効率性を維持することを示しています。