MetaSR：生成的超解像のためのコンテンツ適応型メタデータオーケストレーション

Abstract

本研究では、コンテンツや劣化がドメイン、ジャンル、セグメントごとに変化する現実世界の状況における生成的超解像（SR）を研究します。たとえば、画像や動画はテキストオーバーレイ、高速な動き、滑らかなカートゥーン、低照度の顔などを交互に含む可能性があり、それぞれが異なる形式の側方情報によって恩恵を受けます。既存のメタデータ主導のSR手法は通常、固定された条件付け設計を用いますが、有用な手がかりがコンテンツ依存であり、送信予算が限られている場合には最適ではありません。そこで本研究では、MetaSRを提案します。MetaSRは、リソース制約下でSRを導くために、タスクに関連するメタデータを選択して注入する、拡散トランスフォーマ（DiT）ベースのフレームワークです。具体的には、DiT自身のVAEとトランスフォーマのバックボーンを用いて異種メタデータを融合し、ワンステップの拡散推論を可能にする効率的な蒸留戦略を採用します。多様なコンテンツバケットと劣化レジームにまたがる実験により、MetaSRは、品質を揃えた条件で最大1.0~dBのPSNRの改善を達成しつつ、最大50 ext%の伝送ビットレート節約も実現することが示されます。これらの向上は、レート--歪み最適化（RDO）フレームワークの下で評価し、送信側のビットレートと受信側/表示の品質指標（例：PSNRやSSIM）を共同で考慮します。