要旨: 赤外・可視画像融合は、相補的な情報を統合して頑健な視覚理解を実現することを目的としていますが、既存の融合手法は複数の下流タスクに同時に適応することが困難です。そこで本研究では、タスクに合わせた画像融合のために、多様な下流タスクのセマンティック要件に対して適応的に応答できるクローズドループ・ダイナミック・ネットワーク（CLDyN）を提案します。具体的には、CLDyNは、Requirement-driven Semantic Compensation（RSC）モジュールを通じて、下流タスクから融合ネットワークへ明示的なフィードバックを達成するためのセマンティック伝達チェーンを構築するクローズドループ最適化メカニズムを導入します。RSCモジュールは、Basis Vector Bank（BVB）およびArchitecture-Adaptive Semantic Injection（A2SI）ブロックを活用し、タスク要件に応じてネットワークのアーキテクチャをカスタマイズすることで、タスク固有のセマンティック補償を可能にします。これにより、融合ネットワークは再学習なしで多様なタスクに能動的に適応できるようになります。セマンティック補償を促進するために、タスク性能の変動に基づいてRSCモジュールを報酬または罰則で調整する報酬・罰則戦略を導入します。M3FD、FMB、VT5000の各データセットでの実験により、CLDyNは高い融合品質を維持するだけでなく、強いマルチタスク適応性を示すことが確認されました。コードは https://github.com/YR0211/CLDyN で公開されています。
Customized Fusion：適応型マルチタスク対応のためのクローズドループ・ダイナミック・ネットワーク
arXiv cs.CV / 2026/4/13
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、赤外線—可視画像融合に対するクローズドループ・ダイナミック・ネットワークCLDyNを提案し、下流タスクからの明示的なセマンティック・フィードバックを用いて複数のタスクに適応できることを示します。
- 要件駆動型セマンティック補償（RSC）モジュールを導入し、Basis Vector Bank（BVB）と、Architecture-Adaptive Semantic Injection（A2SI）ブロックにより融合の振る舞いをカスタマイズします。これにより、再学習なしでタスク固有のセマンティック補償を実現します。
- 報酬—罰則戦略を用いて、RSCモジュールをタスク性能の変化に基づいて学習し、有益なセマンティック調整を促し、有害な調整を抑制します。
- M3FD、FMB、VT5000での実験により、CLDyNが高い画像融合品質を維持しつつ、マルチタスク適応性を向上できることが示されます。
- 著者らは、リンクされたGitHubリポジトリを通じてオープンソース実装を提供しており、再現性およびさらなる研究利用を支援します。
