距離認識型ソフトプロンプト学習による多モーダル Valence–Arousal 推定

要旨: Valence-arousal (VA) 推定は、自然環境における人間の感情の微妙な性質を捉えるうえで極めて重要です。CLIP のような事前学習済みの Vision-Language モデルは卓越した意味的整合性能力を示してきましたが、連続回帰タスクへの適用は、テキストプロンプトの離散性によってしばしば制約を受けます。本論文では、意味空間と連続的な次元間のギャップを埋めるために距離認識型ソフトプロンプト学習を導入した、VA推定の新しいマルチモーダルフレームワークを提案します。具体的には、VA空間を3×3のグリッドに分割し、9つの感情領域を定義し、それぞれに異なるテキスト表現を対応づけます。ハードな分類ではなく、真の座標と領域中心とのユークリッド距離に基づくソフトラベルをガウスカーネルを用いて計算し、モデルが細かな感情の遷移を学習できるようにします。マルチモーダル統合のため、我々のアーキテクチャは CLIP 画像エンコーダと Audio Spectrogram Transformer (AST) を用いて、頑健な空間的および音響的特徴を抽出します。これらの特徴は、Gated Recurrent Units (GRUs) によって時系列的にモデル化され、階層的フュージョン方式を通じて統合されます。これにより、整列のためのクロスモーダルアテンションを順次組み合わせ、適応的な洗練のためのゲート付きフュージョンを実現します。Aff-Wild2 データセットでの実験結果は、提案する意味論ガイド付きアプローチが VA 推定の精度を顕著に向上させ、自然環境下の制約なしの「in-the-wild」シナリオで競争力のある性能を達成することを示しています。