Pano360: 幾何学的一貫性を備えたパノラマ視覚へのアプローチ

本論の要旨は、従来のパノラマステッチング手法は主にペアワイズ特徴対応に大きく依存しており、複数ビュー間での幾何学的一貫性を活用できず、特にテクスチャが乏しい、視差が大きい、繰り返しパターンを含む難しいシーンで歪みや不整合が生じる。マルチビュー幾何学的対応は3D空間で直接構築できるため、精度が高くグローバルに一貫させることが可能である。そこで、我々は2Dの整列タスクを3Dフォトグラメトリック空間へ拡張する。3D認識を実現する新規のトランスフォーマー型アーキテクチャを採用し、全視点を横断するグローバル情報を統合する。カメラ姿勢を直接利用して3D空間でのグローバル整列を導く画像ワーピングを実現し、シーム計算のためのマルチフィーチャ結合最適化戦略を用いる。さらに、評価ベンチマークを設定しネットワークを訓練するため、実世界シーンの大規模データセットを構築した。広範な実験により、提案手法は整列精度と知覚品質の点で既存の代替手法を大幅に上回ることが示された。