LightSplat：5秒で行う高速かつ省メモリのオープンボキャブラリ3Dシーン理解

要旨: オープンボキャブラリの3Dシーン理解により、ユーザーは自然言語を通じて複雑な3D環境内で新規の物体をセグメントできます。しかし、既存の手法は反復的な最適化と、ガウシアンごとの密な特徴割り当てにより遅く、メモリを多く消費し、過度に複雑であるままです。これに対処するため、我々はLightSplatを提案します。LightSplatは高速でメモリ効率の高い、学習不要（training-free）の枠組みであり、マルチビュー画像から3D表現へコンパクトな2バイトの意味インデックスを注入します。意味インデックスを目立つ領域にのみ割り当て、軽量なインデックス-特徴の対応付けでそれらを管理することで、LightSplatは高コストな特徴の最適化と、保存に関わるオーバーヘッドを解消します。さらに、3D内で幾何学的かつ意味的に関連するマスクを結び付ける単一ステップのクラスタリングにより、意味の一貫性と効率的な推論を保証します。我々は、複雑な屋内-屋外シーンにおいて、LERF-OVS、ScanNet、DL3DV-OVSで提案手法を評価します。その結果、LightSplatは最大50〜400倍の高速化と、メモリを64分の1に抑えることで、最先端の性能を達成し、スケーラブルな言語駆動の3D理解を可能にします。詳細は、プロジェクトページ https://vision3d-lab.github.io/lightsplat/ をご覧ください。