大規模360°ドローン撮影画像から復元した3Dガウススプラッティングによる屋内アセット検出

概要: 360{\deg}ドローンで撮影した画像から再構成した3D Gaussian Splatting（3DGS）シーンにおいて、室内の対象となる資産を対象レベルで検出およびセグメンテーションするためのアプローチを提案します。本手法では、対応するガウシアン・プリミティブのマスク意味論と空間情報を共同で活用する3Dオブジェクト・コードブックを導入し、マルチビューのマスク対応付けと室内資産の検出を導きます。さらに、意味論的かつ空間的に制約されたマージ手順により、2Dの物体検出およびセグメンテーションモデルを統合することで、複数ビューからのマスクを、首尾一貫した3Dの物体インスタンスとして集約します。2つの大規模な室内シーンでの実験により、信頼性の高いマルチビューのマスク整合性が示され、最先端のベースラインに比べてF1スコアを65%向上させることができます。また、正確な対象レベルの3D室内資産検出を実現し、ベースライン手法に対してmAPを11%向上させています。