合成データ拡張が制御可能なヒューマン中心のビデオ生成に果たす役割の探究

Abstract

制御可能な人間の動画生成は、明示的に導かれた動きと外見によって、人間の現実的な動画を生成することを目指しており、デジタルヒューマン、アニメーション、そして身体性を備えたAIのための基盤となります。しかし、大規模で多様かつプライバシーに安全な人間動画データセットの不足は、特に稀少なアイデンティティや複雑な動作において、大きなボトルネックになっています。合成データは、スケーラブルで制御可能な代替手段を提供しますが、Sim2Realギャップが継続しているため、その実際の生成モデリングへの寄与は十分に調査されていません。本研究では、制御可能な人間動画生成に対する合成データの影響を体系的に調査します。外見と動きの細粒度な制御を可能にする拡散ベースのフレームワークを提案するとともに、学習中に合成データが現実世界のデータとどのように相互作用するのかを分析するための、統一された検証環境（テストベッド）を提供します。広範な実験を通じて、合成データと実データが果たす補完的な役割を明らかにし、動作の現実味、時間的一貫性、そしてアイデンティティの保持を高めるために、合成サンプルを効率よく選択する可能性のある方法を示します。本研究は、人間中心の動画合成における合成データの役割を包括的に探った最初の試みであり、データ効率が高く汎用性のある生成モデルを構築するための実践的な洞察を提供します。