結合劣化を考慮した任意スケール超解像による可変レートの極端画像圧縮

要旨: 最近の拡散ベースの極端な画像圧縮手法は、超低ビットレートで顕著な性能を示しています。しかし、ほとんどのアプローチは、各ターゲットビットレートごとに別々の拡散モデルを訓練する必要があり、その結果、莫大な計算オーバーヘッドを生み出し、実用的な展開を妨げます。一方、最近の研究は、共同超解像が低ビットレート再構成を改善する有効なアプローチとなり得ることを示しています。しかし、超低ビットレート領域に移行するにつれて、情報の著しい損失のためにこれらの手法は苦戦し、固定された超解像スケールに依存することが、多様なビットレートに対する柔軟な適応を妨げます。
これらの制限に対処するため、任意スケール超解像（ASSR）を活用して可変レートの極端な画像圧縮（EIC）をサポートする新規の画像圧縮フレームワーク、ASSR-EICを提案します。エンコーダ側に任意スケールのダウンサンプリングモジュールを導入し、可制御なレート削減を提供します。一方、拡散ベースの、劣化を考慮した結合型ASSRデコーダが、単一のモデル内でレート適応再構成を可能にします。圧縮およびリスケーリングを意識した拡散事前分布を活用して再構成を導き出し、さまざまな圧縮およびリスケーリング設定において高忠実度かつ高リアリズムの復元を実現します。具体的には、レート適応のための全体的な指針を提供するグローバルな圧縮-リスケーリングアダプタと、生成的な挙動と忠実度指向の挙動を動的にバランスさせて、細かなビットレート適応のディテール復元を実現するローカルな圧縮-リスケーリングモジュレータを設計します。再構成品質をさらに高めるために、二重のセマンティック強化設計を導入します。
広範な実験により、ASSR-EIC が極端な画像圧縮において最先端の性能を達成すると同時に、柔軟なビットレート制御とレート依存の再構成適応を同時にサポートすることが示されています。