CT-1: 視覚言語カメラモデルが空間的推論の知識をカメラ制御可能な動画生成へ転送する

要旨: カメラを制御可能な動画生成は、柔軟で物理的にもっともらしいカメラの動きを伴う動画を合成することを目指します。しかし、既存の手法は、テキストプロンプトから不正確なカメラ制御しか提供できないか、あるいは手作業によるカメラ軌道パラメータを大量に必要とするため、自動化されたシナリオでの利用が制限されます。これらの課題に対処するため、我々は新しいVision-Language-Cameraモデル、CT-1（Camera Transformer 1）を提案します。CT-1は、カメラ軌道を正確に推定することで、空間推論の知識を動画生成へ転移することに特化したモデルです。Vision-LanguageモジュールとDiffusion Transformerモデルに基づき、CT-1は周波数領域におけるウェーブレットベースの正則化損失を用いて、複雑なカメラ軌道の分布を効果的に学習します。これらの軌道は動画拡散モデルに統合されることで、ユーザーの意図に整合する、空間を意識したカメラ制御を可能にします。CT-1の学習を促進するために、専用のデータキュレーション用パイプラインを設計し、47Mフレームを超える大規模データセットであるCT-200Kを構築します。実験結果は、我々の枠組みが空間推論と動画合成のギャップを首尾よく埋め、忠実で高品質なカメラ制御可能な動画を実現し、従来手法に比べてカメラ制御の精度を25.7%向上させることを示しています。