Disentangle-then-Align: クロススケール特徴の分離による非反復的ハイブリッドマルチモーダル画像登録

要約: マルチモーダル画像登録は基礎的なタスクであり、下流のモダリティ間解析の前提条件である。共有特徴抽出とマルチスケールアーキテクチャの最近の進展にもかかわらず、二つの主要な制限が残っている。第一に、いくつかの手法は分離表現を用いて共有特徴を学習するが、主に共有部分を正規化するだけで、モダリティ特有の手がかりが共有空間に漏れ込むことを許してしまう。第二に、ほとんどのマルチスケールフレームワークは単一の変換タイプしかサポートしておらず、グローバルな不整合と局所的な変形が共存する場合の適用性を制限している。これらの問題に対処するため、安定した共有特徴空間と統一されたハイブリッド変換を同時に学習する形で、ハイブリッドなマルチモーダル登録を定式化する。これらの観点に基づき、表現の分離とハイブリッドパラメータ予測を結合する Hybrid Registration Network（HRNet）を提案する。モダリティ特異的バッチ正規化（MSBN）を備えた共有バックボーンがマルチスケール特徴を抽出し、クロススケール分離と適応射影（CDAP）モジュールがモダリティ特有の手がかりを抑制し、共有特徴を照合のための安定した部分空間へ射影する。この共有空間に基づき、ハイブリッドパラメータ予測モジュール（HPPM）は、グローバルな剛性パラメータと変形場の非反復的粗から細推定を実行し、それらを一貫した変形場へ融合する。4つのマルチモーダルデータセットを対象とした広範な実験により、剛性登録および非剛性登録タスクにおいて最先端の性能を示す。コードはプロジェクトのウェブサイトで公開されています。