PaAgent: 主観-客観強化学習による肖像を意識した画像復元エージェント

要約: Image Restoration (IR) エージェントは、マルチモーダル大規模言語モデルを活用して劣化を知覚し復元ツールを呼び出すことで、IRタスクの自動化に有望であることを示しています。
しかし、既存のIRエージェントは過去の相互作用を洞察として要約する機構を通常欠いており、最適なIRツールを探索するための網羅的な探索につながります。
この制限に対処するため、PaAgentと名付けられた肖像認識対応のIRエージェントを提案します。PaAgentはIRツールの自己進化的肖像バンクと、入力に適したIRツールを選択する Retrieval-Augmented Generation (RAG) を組み込んでいます。
具体的には、肖像バンクを構築・進化させるため、PaAgentは復元画像、選択されたIRツール、および劣化画像を用いて様々なIRツールの特徴を要約し、継続的にそれを豊かにします。
さらに、肖像バンクから関連する洞察を取得することによって、入力画像に最適なIRツールを選択するためにRAGを用います。
さらに、複雑な場面での劣化をPaAgentの知覚能力を高めるため、主観的・客観的報酬を考慮した強化学習戦略を提案します。これは報酬生成に画像品質スコアと意味的洞察の両方を考慮し、部分的かつ非一様な劣化下でも正確に劣化情報を提供します。
8つのIRベンチマークにわたる広範な実験は、6つの単一劣化シナリオと8つの混合劣化シナリオを含み、複雑なIRタスクに対するPaAgentの優位性を検証します。
私たちのプロジェクトページは \href{https://wyjgr.github.io/PaAgent.html}{PaAgent} です。