UniStitch: 画像ステッチングのための意味論的特徴と幾何的特徴の統合

従来の画像ステッチング手法はハンドクラフトされた幾何学的特徴からワープを推定するのに対し、最近の学習ベースの解法は代わりにニューラルネットワークからの意味論的特徴を活用します。これら二つの研究ラインはこれまで別々の進化をたどり、実質的な統合はほとんど見られませんでした。本論文では、複数モーダル特徴からなる UniStitch によって意味論的特徴と幾何的特徴を統一することでこのギャップを埋める先駆的な一歩を踏み出します。離散的な幾何的特徴（すなわちキーポイント）を連続的な意味的特徴マップに整合させるために、順序付けられていない疎な1D幾何キーポイントを順序付けられた密な2D意味マップへ変換する Neural Point Transformer (NPT) モジュールを提案します。次に、両表現の利点を統合するため、幾何表現と意味表現を融合する Adaptive Mixture of Experts (AMoE) モジュールを設計しました。融合過程でより信頼性の高い特徴へ動的に焦点をシフトさせることで、どちらのモダリティが損なわれても複雑なシーンを扱えるようモデルを導きます。統合された表現は一般的なディープステッチングパイプラインに採用可能で、単一の特徴よりも大幅な性能向上をもたらします。実験は、UniStitch が既存の最先端手法を大きなマージンで上回ることを示し、伝統的な画像ステッチと学習ベースの画像ステッチの統一的パラダイムへの道を拓きます。