GSwap：動的ニューラルガウシアンフィールドによる現実的な頭部スワッピング
arXiv cs.CV / 2026/3/25
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- GSwapは、新しい動画の頭部スワッピング手法として導入されており、従来の2Dジェネレータ型または3DMMベースの手法よりも強い3D整合性を目指し、より現実的な結果を狙う。
- 本システムは、全身SMPL-X表面上に固有の3Dガウシアン特徴フィールドを埋め込み、2Dポートレート動画情報を動的なニューラルガウシアン・ポートレートの事前分布へと変換することで、一貫した頭部レンダリングを可能にする。
- 目に見えるアーティファクト、位置ずれ、背景との不自然なブレンドといった頭部スワッピングでよくある失敗を、ニューラルな再レンダリング戦略により、合成した前景を元の背景と調和させることで解決する。
- 学習効率のために、GSwapは、参照画像を数枚だけ用いて、事前学習済みの2Dポートレート生成モデルをソース頭部のドメインへ適応させる。
- 実験では、既存手法と比較して、視覚品質、時間的な一貫性（テンポラル・コヒーレンス）、アイデンティティ保持、3D整合性の各面で改善が報告されている。
