Stable Diffusionを用いた軽量動画生成のためのモーション適応型時間的注意機構

要旨：私たちは、凍結済み Stable Diffusion モデル上に構築された、パラメータ効率の高い動画生成のためのモーション適応型時間的注意機構を提示します。すべての動画コンテンツを一様に扱うのではなく、推定されるモーション内容に基づいて時間的注意の受容野を動的に調整します。高モーションのシーケンスはフレーム間を局所的に参照して急速に変化する細部を保持し、低モーションのシーケンスはグローバルに参照してシーンの一貫性を強制します。私たちは、全ての UNet トランスフォーマーブロックに階層的な戦略で軽量な時間的注意モジュールを注入します――ダウンサンプリングおよび中間ブロックで意味的な安定化のためのグローバル注意、アップサンプリングブロックでの微細な洗練のためのモーション適応型注意です。時間的に相関したノイズ初期化とモーション対応ゲーティングと組み合わせることで、基底の UNet の 2.9％ に相当する学習可能パラメータのみ、25.8M を追加しますが、100K 本の動画を用いて訓練した場合、WebVid バリデーションで競争力のある結果を達成します。標準的なデノイジング目的だけで十分な暗黙的時間正則化を提供することを示し、明示的な時間的一貫性損失を追加するアプローチを上回ります。アブレーション研究は、ノイズの相関とモーション振幅の間に明確なトレードオフがあることを明らかにし、多様な生成挙動に対する推論時の実用的な制御を提供します。