要旨: 近年、あらかじめ定義されたモジュールを組み合わせ、それらをタスク固有の目的に適応させることで、さまざまなタスクに対する画像信号処理（ISP）パイプラインの最適化を行う研究が進められてきました。しかし、モジュールの系列とパラメータを共同で最適化することは依然として困難です。既存手法は、ニューラルアーキテクチャ探索（NAS）または段階的強化学習（RL）に依存していますが、NASは学習と推論の不一致の問題があり、一方で段階的RLは、段階ごとの意思決定による不安定な学習と高い計算オーバーヘッドにつながります。本研究では、モジュール型ISP最適化を大域的な系列予測問題として定式化する、系列レベルのRLフレームワークであるPOS-ISPを提案します。本手法は、単一のフォワードパスでモジュール系列全体とそのパラメータを予測し、端末タスク報酬によってパイプラインを最適化することで、途中段階の教師あり学習や冗長な実行を不要にします。複数の下流タスクにわたる実験により、POS-ISPは計算コストを削減しつつタスク性能を向上させることが示され、タスク対応型ISPにおける系列レベル最適化が、安定かつ効率的なパラダイムであることが強調されます。プロジェクトページは https://w1jyun.github.io/POS-ISP で利用可能です
POS-ISP：タスク認識型ISPのためのシーケンスレベルでのパイプライン最適化
arXiv cs.CV / 2026/4/9
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- POS-ISPは、モジュールの順序とパラメータの両方を同時に最適化することの難しさに焦点を当てた、タスク認識型画像信号処理（ISP）のためのシーケンスレベル強化学習フレームワークとして提案されます。
- NASアプローチとは異なり、訓練と推論の不一致に悩まされる場合や、段階ごとのRLが不安定で計算コストが高い場合がありますが、POS-ISPは1回のフォワードパスでモジュール全体のシーケンスとそのパラメータを予測します。
- パイプラインは、中間的な教師信号や冗長な段階実行を行わず、終端のタスク報酬のみを用いて最適化されます。
- 複数の下流タスクに対する実験では、計算コストの削減とともにタスク性能の向上が報告されており、シーケンスレベルでの最適化がタスク認識型ISPに対してより安定かつ効率的であることが示唆されます。
- 本研究は、新たなarXivへの投稿と、詳細および再現性のためのプロジェクトページとして共有されています。
