部分的に観測された屋内物体のための合成データセット生成

Abstract

3Dシーンの再構成およびオブジェクト補完のための学習ベース手法は、部分スキャンと完全な正解（グラウンドトゥルース）ジオメトリをペアにした大規模データセットを必要とします。しかし、実世界のスキャニングシステムを用いてそのようなデータセットを取得することは、高価で時間がかかり、とりわけ遮蔽された領域に対して正確なグラウンドトゥルースが必要な場合は特に困難です。 本研究では、Unityで実装した仮想スキャニングフレームワークを提案し、現実的な合成3Dスキャンデータセットを生成します。提案システムは、スキャン解像度、計測範囲、距離依存ノイズといった構成可能なパラメータによって、実世界のスキャナの挙動を模擬します。メッシュ表面を直接サンプリングする代わりに、このフレームワークは仮想視点からのレイ（Ray）ベースのスキャンを行い、センサの可視性および遮蔽（オクルージョン）の効果を現実的にモデル化できるようにします。さらに、スキャナ位置で取得したパノラマ画像を用いて、得られたポイントクラウドに色を割り当てます。 スケーラブルなデータセット作成を支援するため、スキャナは手続き的な屋内シーン生成パイプラインに統合されており、このパイプラインが多様な部屋のレイアウトや家具の配置を自動的に生成します。このシステムを用いて、\textit{V-Scan} データセットを導入します。これは、オブジェクトレベルの部分ポイントクラウド、ボクセルベースの遮蔽グリッド、完全な正解ジオメトリを伴う合成屋内スキャンを含みます。得られたデータセットは、シーン再構成およびオブジェクト補完のための学習ベース手法の訓練と評価に有用な監督信号を提供します。