CM-Bench: 可視光画像と赤外画像を橋渡しする包括的なクロスモーダル特徴マッチングベンチマーク

要約: 赤外-可視（IR-VIS）特徴マッチングは、異なるモダリティ間の視覚的局所化、ナビゲーション、知覚において重要な役割を果たします。深層学習技術の急速な発展とともに、多くの代表的な画像マッチング手法が提案されてきました。しかし、顕著な外観差のため、異なるモダリティ間の特徴マッチングは依然として困難な課題です。クロスモーダル特徴マッチング研究の大きなギャップは、評価の標準化されたベンチマークと指標の欠如にあります。本論文では、多様なクロスモーダルデータセットにまたがる30の特徴マッチングアルゴリズムを含む、総合的なクロスモーダル特徴マッチングベンチマーク CM-Benchを導入します。具体的には、最先端の従来手法および深層学習ベースの手法をまず要約し、疎、半密、および密手法に分類します。これらの手法は、ホモグラフィ推定、相対姿勢推定、特徴マッチングに基づくジオローカリゼーションなど、さまざまなタスクによって評価されます。さらに、マッチング前に適切な強化戦略を自動的に選択する分類ネットワークを用いた適応前処理フロントエンドを導入します。実用的なジオローカリゼーション評価のために、手動で注釈されたグラウンドトゥルース対応を含む新しい赤外-衛星クロスモーダルデータセットを提示します。データセットとリソースは以下で利用可能です: https://github.com/SLZ98/CM-Bench.