HSEmotionチームがABAW-10コンペティションに参加: 顔表情認識、快-不快と覚醒の推定、アクションユニット検出、細粒度暴力分類

要旨: 本論文は、野外における感情行動分析（ABAW）競技会第10回の結果を提示します。フレームごとの顔の感情理解タスク（フレームごとの表情認識、価性-覚醒推定、アクションユニット検出）には、事前学習済みのEfficientNetベースの感情認識モデルを用いた顔埋め込み抽出に基づく高速アプローチを提案します。後者のモデルの自信度が閾値を超える場合、その予測を用います。そうでない場合、埋め込みをAffWild2データセットで訓練された単純な多層パーセプトロンに入力します。推定されたクラスレベルのスコアは、フレームごとの予測におけるノイズを軽減するため、固定サイズのスライディングウィンドウで平滑化されます。細粒度の暴力検出タスクのために、フレーム埋め込みの事前学習済みアーキテクチャと、それらを映像分類へ集約する方法を検討します。ABAWチャレンジの4つのタスクにおける実験結果は、提案手法が既存のベースラインを大幅に上回る検証指標を示すことを示しています。