CGFformer：クラスタガイダンス・フリーケンシー・トランスフォーマーによるパンシャープニング

arXiv cs.CV / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文では、PAN画像とMS画像の周波数分布が空間的に多様であることに対し、固定周波数フィルタの限界を克服するパンシャープニング向けの周波数ガイダンス・トランスフォーマーCGFformerを提案しています。
K-meansクラスタリングを用いた適応的分離モジュールにより、局所特徴と非局所情報を組み合わせて、高周波成分と低周波成分をより精密に切り分けます。
Transformerベースのクロスアテンションを組み合わせたデュアルストリーム改良モジュールで、周波数に関連するノイズ／無関係な擾乱を含む複数のノイズタイプを効果的に抑制することを目指します。
周波数・空間融合モジュールにより、空間構造の再構成と詳細表現を改善し、空間と周波数の相互作用を強めます。
複数のベンチマークデータセットでの実験により、既存のパンシャープニング手法に対して大きな改善が示されたと報告されています。

Abstract

パンシャープニングは、低解像度マルチスペクトル（LRMS）画像と高解像度パンクロマティック（PAN）画像を融合することで、高解像度マルチスペクトル（HRMS）画像を生成することを目的としています。しかし、現在の主流の周波数ベースのパンシャープニング手法は固定の周波数フィルタを用いており、PAN画像およびMS画像における複雑で空間的に多様な周波数分布に対して正確に適応できません。さらに、既存のデノイジング戦略は周波数成分をデノイジングに十分に活用できず、さまざまなノイズの種類を正確に抑制することに苦戦しています。これらの課題に対処するため、我々は、周波数分布の変動と周波数・空間成分間の相互作用に着目したクラスター誘導型周波数トランスフォーマであるCGFformerを提案します。具体的には、K-meansクラスタリングを通じて局所的特徴と非局所情報を統合する、適応的分離モジュールを設計し、高周波成分と低周波成分をより正確に分離できるようにします。続いて、Transformerベースのクロスアテンションと組み合わせたデュアルストリームのリファインメントモジュールを導入し、さまざまなノイズを除去することで、ネットワークが周波数に関連する擾乱および関連しない擾乱を共同で抑制できるようにします。さらに、詳細を強化し、空間・周波数間の相互作用を促進するための周波数—空間融合モジュールも開発し、融合結果における空間構造のより効果的な再構成を保証します。複数のベンチマークデータセットに対する大規模な実験の結果、提案するCGFformerは、既存のパンシャープニング手法に比べて顕著な改善を達成することが示されました。