Motion-Adapter：複合動作のテキストからモーション生成のための拡散モデル・アダプタ

Abstract

生成的モーション合成における最近の進歩により、多様な入力モダリティから現実的な人間の動作を生成できるようになりました。しかし、複数の同時進行する動作を統合して、首尾一貫した全身のシーケンスとして表現するテキストからの複合動作の合成は、依然として大きな課題です。私たちは、現在のテキスト・トゥ・モーション拡散モデルにおける2つの重要な制限を特定します: (i) 壊滅的な看過（catastrophic neglect）で、時間情報の取り扱いが不適切であるために、後続の動作によって前の動作が上書きされてしまう問題、(ii) 注意崩壊（attention collapse）で、クロスアテンション機構における過剰な特徴融合によって生じる問題です。その結果、既存の手法はしばしば、過度に詳細なテキスト記述（例: 右手を上げる）や、身体部位の明示的な指定（例: 上半身を編集する）、あるいは身体部位の解釈にLLM（大規模言語モデル）を用いることに依存しています。これらの方策は、物理構造や運動学的メカニズムに関する不十分な意味表現をもたらし、その結果、歩きながら挨拶するなどの自然な振る舞いを取り込む能力が制限されます。これらの問題に対処するために、私たちはMotion-Adapterを提案します。これは、デノイズ過程の間に構造マスクとして機能するデカップルしたクロスアテンションマップを計算することで、テキスト・トゥ・モーション拡散モデルを複合動作の生成へと導く、プラグ・アンド・プレイ型のモジュールです。大規模な実験により、提案手法は多様なテキストプロンプトに対して、一貫してより忠実で首尾一貫した複合モーションを生成でき、最先端手法を上回ることが示されました。