NEC-Diff: 極端な暗闇で動きを可視化するためのノイズ耐性イベント-RAW補完拡散法

要旨： 高品質なダイナミックシーンの極めて低照度条件での撮像は非常に困難です。光子の不足は深刻なノイズとテクスチャの喪失を引き起こし、画像の劣化を招きます。イベントカメラは、高ダイナミックレンジ（120 dB）と動きへの高感度を特徴とすることで、微細なテクスチャを保持するための重要な手掛かりを提供し、従来のカメラを補完する強力なツールとして機能します。しかし、ほとんどの既存手法はイベントからのテクスチャ復元を重視する一方で、画像ノイズやイベント自体の固有ノイズにはあまり注意を払わず、結果として光子が不足する条件下での正確なピクセル再構成を妨げます。 本研究では、重度にノイズの多い信号から信頼性の高い情報を抽出して、細かなシーン構造を再構成する新規の拡散ベースのイベント-RAWハイブリッド撮像フレームワーク NEC-Diff を提案します。 フレームワークは、(1) RAW画像の線形光応答特性とイベントの明るさ変化性を組み合わせて、堅牢なデュアルモーダルデノイジングのための物理駆動型制約を確立すること、(2) デノイジング結果に基づいて両モダリティのSNRを動的に推定し、適応的な特徴融合を導くことで拡散プロセスへ信頼性のある手掛かりを注入し、高忠実度の視覚再構成を実現すること、という2つの重要な洞察によって推進されます。 さらに、REAL（Raw and Event Acquired in Low-light）データセットを構築しました。低照度下で47,800ピクセル整列済みのRAW画像、イベント、および0.001-0.8 luxの照度下での高品質な参照を提供します。 広範な実験により、極端な暗闇条件下での NEC-Diff の優位性が示されています。 本プロジェクトは以下で入手可能です: https://github.com/jinghan-xu/NEC-Diff。 返却形式: {"translated": "翻訳されたHTML"}