プロンプト・トゥ・ジェスチャー：指示動作の画像から動画生成能力を測定する

要旨: ジェスチャー認識の研究は、NLPとは異なり、深刻なデータ不足に直面し続けている。進歩は、コストのかかる人による記録を要すること、または画像処理アプローチではジェスチャーそのものの真正な多様性を生成できないことによって制約されている。近年、画像から動画への基盤モデルの進展により、自然言語によって導かれる写実的で意味的に豊かな動画の生成が可能になった。これらの能力は、労力を要しない合成データを作成する新たな可能性をもたらし、動画の生成AIモデルが、従来の人が生成したジェスチャーデータを補完し、強化できるのかという重要な問いを提起する。本論文では、プロンプトに基づく動画生成を導入・分析し、現実的な指示（デイクティック）ジェスチャーのデータセットを構築するとともに、その効果を下流タスクに対して厳密に評価する。我々は、人の参加者から収集した少数の参照サンプルに基づいて指示（デイクティック）ジェスチャーを生成するデータ生成パイプラインを提案する。これは、機械学習コミュニティの内外の双方で活用できる、アクセスしやすいアプローチを提供する。結果は、合成ジェスチャーが視覚的な忠実性という点で実際のものと非常に良く一致するだけでなく、意味のある多様性と新規性を導入して元データを豊かにすることを示している。さらに、混合データセットを用いた様々な深層モデルの優れた性能によって、このことは裏付けられる。これらの知見は、画像から動画への手法が（初期段階であっても）ジェスチャー合成に対して強力なゼロショットのアプローチを提供し、下流タスクに明確な利点をもたらすことを示している。