UniVidX：拡散プロンプト（priors）を用いた多用途・マルチモーダル動画生成の統一フレームワーク

Abstract

近年の進展により、ビデオ拡散モデル（VDM）を多様なマルチモーダルなグラフィックス課題に転用できることが示されてきました。しかし、既存の手法は多くの場合、各問題設定ごとに別々のモデルを学習しており、入出力の対応関係が固定されるため、モダリティ間の相関のモデリングが制限されます。私たちは、VDMの事前分布を活用して汎用的な動画生成を行う統一型マルチモーダルフレームワークであるUniVidXを提案します。UniVidXは、ピクセル整合された課題を共通のマルチモーダル空間における条件付き生成として定式化し、バックボーンの本来の事前分布を保持しつつ、モダリティ固有の分布に適応し、合成中にモダリティ間の整合性を促進します。UniVidXは3つの主要な設計に基づいています。確率的条件マスキング（SCM）は、学習中にモダリティをランダムに「クリーンな条件」と「ノイズを含むターゲット」に分割し、固定された対応関係ではなく、全方向的な条件付き生成を可能にします。デカップルド・ゲート付きLoRA（DGL）は、モダリティごとのLoRAを導入し、あるモダリティが生成ターゲットとして機能する場合にのみそれを有効化することで、VDMの強力な事前分布を保持します。クロスモーダル自己注意（CMSA）は、モダリティ間でキーとバリューを共有しつつ、モダリティ固有のクエリは保持し、情報交換とモダリティ間の整列を促進します。UniVidXは2つの領域で実装しました。UniVid-IntrinsicはRGB動画と、アルベド、照度、法線を含むイントリンシックマップ用です。UniVid-Alphaは、ブレンド済みRGB動画と、その構成要素であるRGBA層用です。実験の結果、両モデルは、異なる課題において最先端の手法と競合する性能を達成し、さらに1,000本未満の動画で学習した場合であっても、実環境（in-the-wild）のシナリオに対して頑健に汎化することが示されました。プロジェクトページ: https://houyuanchen111.github.io/UniVidX.github.io/