GLASS：2D-3D レジストレーションのための幾何学に着目したローカルアラインメントおよび構造同期ネットワーク

Abstract

画像からポイントクラウドへの登録（registration）手法は通常、粗から細へ（coarse-to-fine）のパイプラインに従い、パッチレベルの対応関係を抽出して、それを密なピクセル対ポイントの対応へと洗練させます。しかし、反復的なパターンを持つシーンでは、画像が十分な3D構造の手がかりやポイントクラウドとの整合性を欠くことが多く、その結果、不正確なマッチが生じます。さらに、従来手法は構造の一貫性を見落としがちであり、それにより対応関係の完全な活用が制限されます。これらの課題に対処するため、我々は2つの新規モジュール、Local Geometry Enhancement（LGE）モジュールとGraph Distribution Consistency（GDC）モジュールを提案します。LGEは法線ベクトルを用いて画像特徴とポイントクラウド特徴の両方を強化し、幾何学的な構造を画像特徴へ注入することで不一致を低減します。GDCは、マッチした点からグラフを構築して特徴を更新し、類似度分布を明示的に制約します。2つのベンチマーク、RGB-D Scenes v2および7-Scenesに対する大規模な実験とアブレーションの結果、提案手法が画像からポイントクラウドへの登録において最新の（state-of-the-art）性能を達成することを示します。