すべてのフレームが同等ではない：モーションのスペクトル記述子による複雑性を意識したマスクド・モーション生成

要約: マスクされた生成モデルは、テキストからモーションを生成する分野において強力なパラダイムとなっているものの、マスキング、注意（attention）、デコーディングの際にモーションのフレームをあまりにも一様に扱っています。これは、時間とともに局所的な動的複雑さが急激に変化するモーションの性質とは一致しないものです。本研究では、現在のマスク付きモーション生成器が、動的に複雑なモーションに対して不釣り合いに大きく劣化すること、そしてフレームごとの生成誤差がモーションのダイナミクスと強く相関していることを示します。この不一致に動機づけられ、モーション速度の短時間スペクトルから算出される、局所的な動的複雑さを測るシンプルでパラメータ不要の指標である「Motion Spectral Descriptor（MSD）」を提案します。学習に基づく難しさ予測器とは異なり、MSDは決定論的で、解釈可能であり、モーション信号そのものから直接導出されます。私たちはMSDを用いて、マスク付きモーション生成を複雑さに応じて制御（complexity-aware）します。具体的には、学習中のコンテンツ重視のマスキングを導き、自己注意に対するスペクトル類似の事前知識を与え、さらに反復デコーディング中のトークンレベルのサンプリングを調整することも可能です。マスク付きモーション生成器の上に構築した本手法であるDynMaskは、動的に複雑なモーションに対して最も明確にモーション生成を改善しつつ、HumanML3DおよびKIT-MLにおいてより強い全体FIDも得ます。これらの結果は、局所的なモーション複雑さを尊重することが、マスク付きモーション生成における有用な設計原理であることを示唆しています。プロジェクトページ: https://xiangyue-zhang.github.io/DynMask