要約:低照度画像強調は、暗い環境で視覚センサーによって撮影された画像の可視性を回復することを目的とし、輝度の低下や構造的破損といった固有の信号劣化に対処します。多くのアルゴリズムが画質の改善を試みる一方で、既存の手法は本質的な信号事前情報を著しく喪失させることがあります。これらの課題を克服するために、照明に依存しない信号事前情報の指針とマルチスケール空間畳み込みに基づく Dual-Stream Transformer Network(DST-Net)を提案します。まず、低照度条件下での重要な信号特徴の喪失に対処するため、特徴抽出モジュールを設計します。このモジュールは、Difference of Gaussians (DoG)、LAB色空間変換、およびVGG-16を組み合わせてテクスチャを抽出し、照明非依存の特徴を信号事前情報としてデカップリングして、強調処理を継続的にガイドします。次に、デュアルストリーム相互作用アーキテクチャを構築します。クロスモーダルアテンション機構を採用することで、抽出された事前情報を活用して強調画像の劣化した信号表現を動的に修正し、微分可能な曲線推定を通じて反復的な強調を最終的に実現します。さらに、既存の手法が細部の構造や質感を保持できない点を克服するため、擬3Dおよび3D勾配演算子畳み込みを特徴とする Multi-Scale Spatial Fusion Block (MSFB) を提案します。このモジュールは、明示的な勾配演算子を統合して高周波のエッジを回復するとともに、マルチスケール空間畳み込みによってチャネル間の空間相関を捕捉します。広範な評価とアブレーション研究により、DST-Net が主観的視覚品質および客観的指標の双方で優れた性能を発揮することを示しています。具体的には、当手法は LOL データセットで PSNR 25.64 dB を達成します。LSRWデータセットでの追加検証は、クロスシーン一般化の頑健性をさらに確認しています。
DST-Net: 照明条件に依存しない特徴ガイダンスと多尺度空間畳み込みを備えたデュアルストリーム・トランスフォーマーによる低照度画像の強化
arXiv cs.CV / 2026/3/18
📰 ニュースModels & Research
要点
- DST-Netは、照明条件に依存しない事前情報と多尺度空間融合機構を活用して、画質を向上させつつ細部を保持する低照度画像強化のためのデュアルストリーム・トランスフォーマーを提案します。
- 特徴抽出モジュールは、Difference of Gaussians (DoG)、LABカラー空間変換、そしてVGG-16を組み合わせて、本来の信号情報を壊さずに強調を導くテクスチャの事前情報を取得します。
- デュアルストリーム・アーキテクチャは、クロスモーダルアテンション機構を用いて劣化した信号表現を動的に修正し、微分可能な曲線推定を介して反復的な強化を行います。
- マルチスケール空間融合ブロック(MSFB)は、擬似3Dおよび3D勾配演算子を用いた畳み込みを採用し、高周波のエッジを回復し、チャネル間の空間相関を捉え、LOLデータセットでPSNR 25.64 dBを達成し、LSRWでのクロスシーン一般化に対して頑健性を示します。


![[ニューラルネットワーク] 今こそ起源を見つめる時 Ep.5 (最終話) 〜情熱の連鎖が明日を照らす〜](/_next/image?url=https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F260885500%2Frectangle_large_type_2_f8df7c72d21f86c39d4096dd995f50d1.png%3Fwidth%3D219%26dpr%3D2%26frame%3D1%26format%3Djpg&w=3840&q=75)
