GESS：幾何学とセマンティクスの相乗によるマルチキューガイド付きローカル特徴学習
arXiv cs.CV / 2026/4/8
📰 ニュースModels & Research
要点
- 本論文では、セマンティクスと幾何学的手がかりを共同で活用することで、コンピュータビジョンにおけるローカル特徴の検出と記述を改善するマルチキューガイド付きフレームワーク「GESS」を提案する。
- 軽量な予測ヘッドを2つ用意し、共有された3Dベクトル場によるセマンティクス-法線のカップリングと、幾何学的整合性による深度の安定性をそれぞれ担当させることで、最適化の干渉を抑え、キーポイントの信頼性を向上させる。
- セマンティック信頼性と深度安定性に基づいてキーポイント応答の重み付けを行う「セマンティック-深度対応キーポイント（SDAK）」機構により、不確かな領域でのスプリアス特徴の抑制を行う。
- ディスクリプタ（記述子）については、「統一トリプルキュー融合（UTCF）」モジュールを提案し、セマンティック・スケジューリングに基づくゲーティング戦略によって、多属性情報を適応的に注入して判別性を高める。
- 4つのベンチマークにわたる実験では、頑健性とディスクリプタ品質の向上が報告されており、著者らはコードおよび事前学習モデルをGitHubで公開する予定であるとしている。
