DVFace：時空間デュアル優先度（デュアルコードブック）拡散による動画の顔復元

要旨: 動画の顔復元は、劣化した顔動画を、現実的な顔の細部、安定したアイデンティティ、時間的な一貫性を備えた高品質な結果へと強化することを目的とする。近年、拡散（ディフュージョン）ベースの手法により、復元に強力な生成的な事前知識がもたらされ、より現実的な細部の合成が可能になった。しかし、顔動画に対する既存のアプローチは依然として汎用的な拡散事前知識や多段階サンプリングに大きく依存しており、顔への適応と推論効率の両方が制限される。これらの制約は、動画の顔復元に一段階（ワンステップ）の拡散を用いることを動機づけるが、時間的に安定した出力とともに忠実な顔の回復を達成することは依然として難しい。本論文では、実世界の動画顔復元のための一段階拡散フレームワークであるDVFaceを提案する。具体的には、劣化した動画から補完的な空間的および時間的な顔の事前知識を抽出するための、時空間デュアル・コードブック設計を導入する。さらに、これらの事前知識の異なる役割に応じて拡散バックボーンへ注入するための非対称な時空間融合モジュールも提案する。さまざまなベンチマークでの評価により、DVFaceは、近年の手法と比較して、より優れた復元品質、時間的な整合性、そしてアイデンティティの保持を提供することが示される。コード: https://github.com/zhengchen1999/DVFace.