小さな調整で動画生成モデルをユーザーの意図に適合させる

概要: テキストから動画への拡散モデルの近年の著しい進歩により、それらの生成を制御することへの関心が高まっている。制御の一般的な方法は、境界ボックスやレイアウトを用いることだ。しかし、これらの制御入力への適合を厳密に守らせることは依然として未解の問題である。本研究では、ユーザーが提供した境界ボックスをわずかに調整することで、生成の品質と制御入力への適合性の両方を改善できることを示す。これは、動画拡散モデルの内部アテンションマップとより一致するように境界ボックスを単純に最適化し、前景と背景の焦点を慎重にバランスさせることで実現される。ある意味、私たちはモデルが馴染みのある場所に境界ボックスを置くように変更している。驚くべきことに、わずかな修正でも生成の品質は大きく変動することがある。これを行うために、境界ボックスの位置を微分可能にする滑らかなマスクと、境界ボックスを変更するために用いるアテンション最大化の目的関数を提案する。私たちは、方法の有効性を検証するためのユーザー調査を含む徹底的な実験を行いました。私たちのコードは、コミュニティの今後の研究を促進するため、プロジェクトのウェブページで公開されています。