Geometry Forcing：ビデオ・ディフュージョンと3D表現を結び付け、整合的なワールドモデリングを実現する

要旨: 動画は本質的に、動的な3D世界の2D投影を表しています。しかし、私たちの分析によれば、生の動画データのみに基づいて学習された動画拡散モデルは、学習した表現の中に意味のある幾何学的に配慮された構造を捉えられないことが多いことが示唆されます。動画拡散モデルと、物理世界に潜む3D本質との間のギャップを埋めるために、私たちはGeometry Forcing（幾何学強制）という、シンプルでありながら効果的な手法を提案します。これは、動画拡散モデルが3D表現を内部化することを促すものです。私たちの主要な着想は、幾何学的な基盤モデルの特徴量と整合させることで、中間表現を幾何学に配慮した構造へ導くことです。そのために、2つの補完的な整合（アラインメント）目的を導入します。角度整合（Angular Alignment）は、コサイン類似度によって方向の一貫性を強制し、スケール整合（Scale Alignment）は、正規化された拡散表現から幾何学的特徴を回帰することで、スケールに関する情報を保持します。私たちは、Geometry Forcingを、カメラ視点条件付けとアクション条件付けの2つの動画生成タスクの両方で評価します。実験結果は、本手法がベースライン手法に比べて、視覚的品質と3D整合性を大幅に改善することを示しています。プロジェクトページ: https://GeometryForcing.github.io。