ARGen: 画像ベースの動的感情認識に向けた、感情強化型生成的オーグメンテーション

要旨: 野外における動的な顔の表情認識は、データ不足やロングテール分布のために依然として困難であり、希少な感情の時間的ダイナミクスをモデルが効果的に学習できないことを妨げています。これらの制約に対処するために、本研究ではARGen（Affect-Reinforced Generative Augmentation Framework）を提案します。これは、データに適応した動的表情生成を可能にし、頑健な感情知覚を実現する枠組みです。ARGenは2つの段階から動作します：Affective Semantic Injection（ASI）とAdaptive Reinforcement Diffusion（ARD）です。ASI段階では、顔のアクションユニットを通じて情動に関する知識の整合を確立し、大規模な視覚言語モデルを用いたリトリーバル強化型のプロンプト生成戦略により、首尾一貫した、かつきめ細かな情動の記述を合成します。これにより、解釈可能な感情の事前知識を生成プロセスへ注入します。ARD段階では、テキスト条件付きの画像から動画への拡散と強化学習を統合し、フレーム間の条件付きガイダンスと、多目的の報酬関数を導入することで、表情の自然さ、顔の完全性、生成の効率を同時に最適化します。生成タスクと認識タスクの両方に対する大規模な実験により、ARGenが合成の忠実性を大幅に向上させ、認識性能も改善することが検証され、視覚ベースの感情計算のための、解釈可能で汎用性のある生成的拡張パラダイムを確立することが示されます。