RGBガイド付き単一ピクセル・ハイパースペクトル画像に対する物理情報に基づく未学習学習

Abstract

単一画素イメージング（SPI）は、ハイパースペクトル取得への費用対効果の高い手段を提供しますが、極端に低いサンプリング率のもとでは、空間的およびスペクトル的な高忠実度な情報を復元することに苦戦します。これは、非常に難しい（severely ill-posed）逆問題です。ディープラーニングは可能性を示しているものの、既存のデータ駆動型手法は、しばしば実現困難であるハイパースペクトルイメージングにおいて、大規模な事前学習データセットを要求します。この制約を克服するために、外部の学習データを一切用いず、学習されていないニューラルネットワークとRGBガイダンスを活用した、共同のハイパースペクトル再構成と超解像のための、エンドツーエンドの物理インフォームド・フレームワークを提案します。提案手法は、3つの物理に基づく段階から構成されます：（1）RGB由来のグレースケール・プライア（Grayscale Priors）を用いた正則化付き最小二乗法（LS-RGP）で、モーダル間の構造的相関を活用して解を初期化します；（2）測定整合性とハイブリッド正則化によって再構成を洗練する、学習なしハイパースペクトル回復ネットワーク（UHRNet）；（3）モーダル間アテンションにより高周波の詳細をRGBガイドから転送し、空間解像度をアップサンプルする、Transformerベースの学習なし超解像ネットワーク（USRNet）です。ベンチマークデータセットに対する大規模な実験の結果、提案手法は、再構成精度とスペクトル忠実度の両面で、最先端アルゴリズムを大幅に上回ることが示されました。さらに、物理的な単一画素イメージングシステムを用いたプロトタイプ実験により、本フレームワークの実用上の適用可能性が検証され、わずか6.25%のサンプリング率で144バンドのハイパースペクトルデータキューブを正常に再構成できました。したがって、提案手法は計算機的ハイパースペクトルイメージングに対する、堅牢でデータ効率の高い解を提供します。