正規化マッチング・トランスフォーマー

Abstract

本論文では、画像ペア間の効率的かつ正確な疎なセマンティック対応点マッチングのための、深層学習アプローチである Normalized Matching Transformer（NMT）を提案します。NMT は、強力な視覚バックボーン、SplineCNN による幾何学的特徴の精緻化、その後に正規化された Transformer による対応特徴の計算から構成されます。NMT の中核となるのは、超球面（ハイパー・スフィア）正規化戦略です。Transformer の各層において埋め込みの単位ノルムを強制し、さらに対照的な InfoNCE と超球面一様性損失を組み合わせて学習することで、より識別的な対応点表現を得ます。この新規のアーキテクチャ／損失の組合せは、対応する画像特徴の近い整合と、非対応のもの同士の大きな距離を、出力レベルだけでなく各層においても促進します。アーキテクチャ自体はシンプルであるにもかかわらず、NMT は PascalVOC および SPair-71k において新たな最先端性能を達成し、BBGM、ASAR、COMMON、GMTR をそれぞれ 5.1% と 2.2% 上回ります。また、他の最先端ベースラインと比べて少なくとも 1.7 倍少ないエポック数で収束します。これらの結果は、対応付けタスクにおいて、広範な正規化と超球面学習を組み合わせることの力を裏づけています。