マイクロ-AU CLIP: マイクロ表情のアクションユニット検出のための局所的独立性からグローバル依存性への細粒度対照学習

概要: 微表情（ME）アクションユニット（Micro-AUs）は、細かな真の感情分析の客観的手掛かりを提供します。ほとんどの既存のマイクロ-AU検出手法は、顔全体の画像/動画からAU特徴を学習しており、AUの本質的な局所性と衝突し、AU領域の認識が不十分になる。実際、各AUは独立して特定の局所的な顔の筋肉の動きに対応しており（局所独立性）、特定の感情状態の下では一部のAU間に固有の依存性が存在する（グローバル依存性）。したがって、本研究は独立性から依存性へのパターンの有効性を検討し、AU検出プロセスを局所的意味独立性モデリング（LSI）とグローバル意味依存性モデリング（GSD）へ独自に分解する新規のマイクロ-AU検出フレームワークmicro-AU CLIPを提案します。LSIでは、Patch Token Attention（PTA）を設計し、AU領域内の複数の局所特徴を同じ特徴空間に写像します；GSDでは、Global Dependency Attention（GDA）とGlobal Dependency Loss（GDLoss）を提示し、異なるAU間のグローバル依存関係をモデル化して各AU特徴を強化します。さらに、CLIPのマイクロセマンティックアライメントにおけるネイティブな制限を考慮し、microAU対照損失（MiAUCL）を設計して、視覚特徴とテキスト特徴の細粒度の整合からAU特徴を学習します。また、Micro-AU CLIPは感情ラベルなしでME認識に対して効果的に適用されます。実験結果は、Micro-AU CLIPが細粒度のマイクロ-AU特徴を完全に学習できることを示しており、最先端の性能を達成しています。）