LiDAR-慣性オドメトリおよびRGBダイレクトラベル転送からの増分セマンティクス支援メッシング

Abstract

LiDAR-慣性（IMU）スキャンからの高幾何学忠実度メッシュ再構成は、大規模で複雑な屋内環境――たとえば文化財建築――では依然として難しい課題です。ポイントクラウドの疎性、幾何学的ドリフト、そして固定された融合パラメータにより、穴、過度な平滑化、構造境界における不適切な表面が生じます。本研究では、モジュール化されたインクリメンタルなRGB+LiDARパイプラインを提案し、スキャンフレーム単位のダイレクトなラベル転送によって、屋内スキャンから増分的なセマンティクス支援による高品質メッシュを生成します。視覚基盤モデルが各到来RGBフレームにラベル付けし、そのラベルをインクリメンタルに投影してLiDAR-慣性オドメトリマップ上へ融合します。そして、増分セマンティクスを意識したTruncated Signed Distance Function（TSDF）の融合ステップにより、最終的なメッシュをmarching cubesで生成します。このフレームレベルの融合戦略は、LiDARの幾何学的忠実度を保持しつつ、リッチな視覚セマンティクスを活用して、LiDAR点群の疎性および幾何学的ドリフトに起因する再構成境界での幾何学的曖昧性を解消します。セマンティクスによる誘導が幾何学的再構成品質を向上させることを示し、そのため、Oxford Spiresデータセットでは幾何学的指標による定量評価を行い、NTU VIRALデータセットの結果は定性的に分析します。提案手法は、幾何学に関する最先端のベースラインであるImMeshおよびVoxbloxを上回り、幾何学的メッシュ品質に対するセマンティクス支援融合の有益性を実証します。得られるセマンティクスラベル付きメッシュは、Universal Scene Description（USD）アセットの再構成において価値があり、屋内LiDARスキャニングからXRおよびデジタルモデリングまでの道筋を提供します。