要旨: アンダーディスプレイカメラ(UDC)は、撮像センサーをディスプレイの下に配置することで、フルスクリーン設計を可能にします。それにもかかわらず、各種ディスプレイ層を通じた光の回折や散乱により、空間的に変動する複雑な劣化が生じ、その結果、高周波の詳細が大幅に損なわれます。現在のPSFベースの物理モデリング手法や周波数分離ネットワークは、低周波構造の再構築や全体的な色の整合性の維持に効果的です。しかし、それらは複雑で空間的に変動する劣化に対処する際に微細な詳細を復元するうえで依然として課題を抱えています。この問題を解決するために、UDC画像復元のための軽量な\textbf{U}ncertainty-aware \textbf{C}ontext-\textbf{M}emory \textbf{Network}(\textbf{UCMNet})を提案します。従来の手法が一様な復元を適用するのに対し、UCMNetは、劣化が変動する領域において高周波の詳細を復元するために、不確実性を考慮した適応的な処理を行います。不確実性駆動の損失によって学習された推定不確実性マップは、回折と散乱によって誘起される空間的な不確実性を定量化し、メモリーバンクがコンテキストバンクから領域に適応した文脈情報を取り出すことを導きます。この手順により、UDC撮像に固有の非一様な劣化特性を効果的にモデル化できます。この不確実性を事前情報として活用することで、UCMNetは複数のベンチマークで最先端の性能を達成し、従来モデルよりパラメータ数を30\%少なくしています。プロジェクトページ: \href{https://kdhrick2222.github.io/projects/UCMNet/}{https://kdhrick2222.github.io/projects/UCMNet}。
UCMNet:アンダーディスプレイカメラ画像復元のための、不確実性を考慮したコンテキストメモリネットワーク
arXiv cs.CV / 2026/4/2
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、空間的に変化する回折および散乱による劣化を受けたアンダーディスプレイカメラで撮影された画像を復元するための、軽量な不確実性を考慮したコンテキストメモリネットワークUCMNetを提案する。
- 一様な復元を適用する代わりに、UCMNetは、不確実性駆動の損失によって学習された不確実性マップを用い、領域ごとに高周波の詳細の回復を適応的に導く。
- 本モデルは、メモリバンク/コンテキストバンクの仕組みを用いて領域適応的な文脈情報を取得し、不確実性を事前情報として活用することで、非一様な劣化のより良いモデリングを実現する。
- 実験では、複数のベンチマークにおいて最先端の結果を報告しており、先行手法と比べて約30%少ないパラメータであることが示される。