DiffMagicFace: 実ビデオのアイデンティティ一貫性を保った顔編集

Abstract

テキスト条件付きの画像編集は、画像拡散モデルの進歩によって大きく恩恵を受けてきました。しかし、これらの手法を顔の動画編集へ拡張するには、ソース動画全体を通じて顔のアイデンティティを保持すること、そしてフレーム間で編集対象の一貫性を確実にすることに課題があります。本論文では、テキストと画像の制御のために2つの微調整済みモデルを統合した独自の動画編集フレームワークであるDiffMagicFaceを提案します。これらのモデルは推論中に同時に動作し、アイデンティティの特徴を維持しながら、編集の意味論とシームレスに整合する動画フレームを生成します。編集動画の一貫性を確保するために、各編集対象についてさまざまな顔の視点を示す画像からなるデータセットを構築します。データセットの作成は、レンダリング手法と、その後に続く最適化アルゴリズムの適用によって実現されます。注目すべきことに、提案手法は動画データセットに依存しないにもかかわらず、一貫性と内容の両面で高品質な結果をもたらします。この優れた効果は、トーキングヘッド動画のような複雑なタスクや、互いに非常に近いカテゴリの識別といった課題に対しても成り立ちます。本フレームワークで編集された動画は、従来のレンダリングソフトウェアで作られた動画と同等の水準を示します。現在の最先端手法との比較分析により、本フレームワークは視覚的な魅力と定量的指標の両方で優れた性能を示します。