Stable Video 4D 2.0

私たちは Stable Video Diffusion 4D (SV4D) を Stable Video 4D 2.0 (SV4D 2.0) にアップグレードしました。実世界のビデオでより高品質な出力を提供します。このマルチビュー動画拡散モデルは、単一のオブジェクト中心のビデオから動的な4Dアセットを生成するのに最適です。これらのアップグレードは、プロの制作ワークフローのための動的な4Dアセットの作成を容易にします。ゲーム内キャラクターのスプライトシートの生成から、映画や仮想世界のアセットのサポートに至るまで。

未知の視点から3Dオブジェクトを視覚化する際の本質的な曖昧さのため、マルチビュー生成は依然として複雑です。被写体が動いている場合は、特に難しくなります。SV4D 2.0は、大規模なデータセットやマルチカメラ設定、前処理に頼らず、一貫した多角度出力を生成することで、この課題に対処するための段階的な進歩を遂げています。これが前進を意味する一方で、動的な動きでは時折アーティファクトが発生することがあります。

新機能

SV4D 2.0には、以下を含む複数のアップグレードを施しました：

• より鮮明で一貫した4D出力: モデルは段階的に訓練され、静的な3Dアセットから開始し、動きを追加することで、より鮮明で一貫した4Dの結果を得られるようになりました。

• 参照ビュー不要: 単一のビデオから直接動作し、マルチビュー参照画像の必要性を排除します。

• ネットワークアーキテクチャの再設計: 3Dアテンションを活用し、3Dの空間的および時間的特徴を統合するメカニズムで、参照ビューに依存せずに時空間の一貫性を改善します。

• 実世界一般化の改善: 実世界のビデオでより一貫した動作をします。合成データで訓練されている一方で、事前学習済みのビデオモデルから世界知識を保持しています。

研究とベンチマーク

私たちの分析によれば、SV4D 2.0は4D生成において最先端の成果を達成しています。LPIPS（画像忠実度）、FVD-V（マルチビュー一貫性）、FVD-F（時間的整合性）、FV4D（4Dの一貫性）の主要なベンチマークすべてで1位にランクされています。DreamGaussian4D、L4GM、SV4Dと比較して、このバージョンはよりシャープで一貫した4D出力を生成します。

私たちの分析は、SV4D 2.0が新規ビュー合成において Diffusion^2、SV3D、SV4D を上回ることを示しています。モデルはマルチビューの一貫性（FVD-V）と時間的整合性（FVD-F）を大幅に改善し、視点の変化と時間の経過の両方で高品質な出力を維持します。モデルの技術的進歩の詳細については、研究論文をご覧ください。