CLIPによる誘導データ拡張のための夜間画像デヘイジング

arXiv cs.CV / 2026/4/8

📰 ニュースSignals & Early TrendsModels & Research

要点

  • 本論文は、日中よりも夜間の画像デヘイジングが難しい問題であることを扱っている。理由は、霧の散乱が低照度・非一様な照明・強い光の干渉と相互作用するためである。
  • NTIRE 2026の統一的なチャレンジ枠組みを提案し、CLIPベースの類似度スクリーニングを用いて、限定的な監督のもとで目標ドメインにより近い外部学習データを構築する。
  • 手法ではNAFNetを2段階で学習する。まずターゲットドメインへ適応し、その後により広範な劣化パターンへ拡張することで、ドメインドリフトと学習の不安定性を低減する。
  • 推論時には、TLC、x8の自己アンサンブル、重み付きスナップショット融合を組み合わせることで、大幅なネットワーク再設計を不要にしつつ、安定性と出力品質を改善する。

Abstract

夜間画像のヘイズ除去(デヘージング)は、日中画像の対応物よりも複雑な劣化パターンを示します。これは、ヘイズの散乱が低照度、非一様な照明、そして強い光の干渉と結びつくためです。限定的な教師あり学習のもとでは、この複雑さがドメインドリフトと学習の不安定性をさらに悪化させます。というのも、ターゲットドメインのサンプルは乏しく、外部データを単純に導入すると、分布の不一致によって適応が弱まる可能性があるためです。本論文では、NTIRE 2026 Night Time Image Dehazing Challenge に向けた解決策を提示します。これは、ドメイン整合データ構築、段階的学習、推論時の強化を統合する統一フレームワークとして構築されています。具体的には、事前学習済みの CLIP ビジュアルエンコーダが、類似度に基づいて候補となる外部サンプルをスクリーニングし、ターゲットドメインにより近い学習データを構築します。その後、NAFNet は 2 段階で学習されます。まずターゲットドメインへ適応し、次により広範な劣化パターンへ拡張します。推論時には、TLC、x8 の self-ensemble(自己アンサンブル)、および重み付きスナップショット融合を組み合わせて、出力の安定性を向上させます。複雑なネットワーク再設計に頼るのではなく、本提案フレームワークは、夜間画像のデヘージングのための実用的かつ効果的な処理パイプラインを提供します。