音韻論に導かれた手話運動生成へ: 拡散モデルのベースラインと条件付分析

要旨: テキスト入力を条件として自然で正確、かつ視覚的に滑らかな3Dアバター手話モーションを生成することは、依然として非常に難しい課題です。本研究では、3Dボディモーションの生成モデルを訓練し、手の形、手の位置、動作といった ASL-LEX 2.0 の注釈を用いて、手話モーション生成における音韻属性条件付けの役割を探ります。まず、SMPL-X 表現を用いた Human Motion MDMスタイルの拡散モデルを用いて強力な拡散ベースラインを確立し、グロス識別性指標において最先端の CVAE 手法である SignAvatar を上回ります。次に、異なるテキストエンコーダ（CLIP対T5）、条件付けモード（グロスのみ vs. グロス＋音韻属性）、および属性表記形式（記号表記 vs 自然言語）を用いて、テキスト条件付けの役割を体系的に研究します。私たちの分析は、象徴的な ASL-LEX 表記を自然言語へ翻訳することが、CLIP ベースの属性条件付けを効果的に行うための必要条件であることを示していますが、T5 はこの翻訳の影響を大きく受けません。さらに、私たちの最も性能の高いバリアント（属性をマッピングした CLIP）は、すべての指標で SignAvatar を上回ります。これらの知見は、テキストエンコーダベースの属性条件付けにおける入力表現を重要な要因として浮き彫りにし、グロスと音韻属性を独立した経路で符号化する構造化条件付けアプローチを動機づけます。返却形式: {"translated": "翻訳されたHTML"}