Fast-SegSim: シミュレーションにおけるロボティクスのための、リアルタイム・オープンボキャブラリ・セグメンテーション

要旨: オープン・ボキャブラリ・パノプティック再構成は、高度なロボティクスとシミュレーションにとって重要です。しかし、NeRF や Gaussian Splatting の派生手法などの既存の 3D 再構成手法は、ロボットの制御ループが必要とするリアルタイム推論の頻度を達成することがしばしば困難です。既存手法は、頑健なオープン・ボキャブラリ・セグメンテーションに必要な高次元の特徴を処理する際に、許容しがたいレイテンシを招きます。私たちは Fast-SegSim を提案します。これは、2D Gaussian Splatting を基盤とした、斬新でシンプルなエンドツーエンドの枠組みであり、リアルタイム性を実現し、高忠実かつ 3D 一貫性のあるオープン・ボキャブラリ・セグメンテーション再構成を目的としています。私たちの中核的な貢献は、高チャネルのセグメンテーション特徴の蓄積という計算上のボトルネックを特に解決する、高度に最適化されたレンダリング・パイプラインです。2 つの重要な最適化を導入します: ラスタライズの冗長性を減らすための Precise Tile Intersection（精密タイル交差）と、新しい Top-K Hard Selection 戦略です。この戦略は、2D Gaussian 表現に固有の幾何学的スパース性を活用することで、特徴蓄積を大幅に単純化し、帯域制限を緩和します。その結果、40 FPS を超えるレンダリング速度を達成します。Fast-SegSim はロボティクス応用における重要な価値を提供します。これは、Gazebo のようなシミュレーション基盤に対する高頻度のセンサ入力として機能すると同時に、3D 一貫性のある出力によって、下流の知覚タスクを微調整するために不可欠なマルチビューの「グラウンドトゥルース」ラベルを提供します。生成したラベルを用いてオブジェクト目標ナビゲーションにおける知覚モジュールを微調整し、ナビゲーション成功率を 2 倍にできることを実証します。高速なレンダリングと実用的な有用性は、Fast-SegSim が sim-to-real のギャップを埋める可能性を裏付けています。