PlanaReLoc：3D平面プリミティブによる領域ベース構造マッチングを用いたカメラ再ローカライズ

Abstract

構造ベースのリローカライザは、クエリ画像と対応づけるためのクエリマップ関連を確立あるいは回帰する際に、長らく点対応を求めてきました。しかし本論文では、構造化された環境における軽量な6自由度（6-DoF）カメラのリローカライゼーションに向けて、平面プリミティブと3D平面マップの活用を先駆的に提案します。平面プリミティブは射影幾何学における基本的な対象であるだけでなく、構造的な情報と意味的な豊かさの両方を包含する領域ベースの表現としても機能します。そこで本研究では、PlanaReLocという、平面中心の合理化されたパラダイムを導入します。この枠組みでは、深層マッチャが学習された統一埋め込み空間内で、クエリ画像とマップ上の平面プリミティブを対応づけ、その後、6-DoF姿勢を頑健な枠組みのもとで解いてさらに改良します。ScanNetおよび12Scenesデータセットにおいて数百のシーンにわたる包括的な実験を行った結果、本手法は、平面プリミティブが信頼性の高いクロスモーダルな構造対応を促進し、さらに、現実的な質感・色情報を持つマップ、姿勢の事前知識（pose priors）、あるいはシーンごとの学習を必要とせずに効果的なカメラリローカライゼーションを達成できることを示しました。コードとデータは https://github.com/3dv-casia/PlanaReLoc で公開されています。