WARM-VRを紹介：バーチャルリアリティにおけるマルチモーダル・ウェアラブル感情認識のためのベンチマークデータセット

Abstract

人間とコンピュータの相互作用が日常生活にますます統合される中で、機械学習の進歩により、システムはユーザの感情状態をより適切に認識し、反応できるようになってきました。既存の感情認識データセットの多くは静的な環境に焦点を当てているため、仮想現実（VR）のような没入型マルチメディア環境への適用には限界があります。本論文では、ウェアラブル計測用のセンシング機器を用いて、没入型の多感覚環境における感情認識を支援することを目的に設計された、新規の公開マルチモーダル・データセットであるWARM-VRを紹介します。データは、ウェアラブルセンサを用いて19〜37歳の31名から収集されました。具体的には、手首バンドで血液量脈波（BVP）、EDA、皮膚温、3軸加速度を計測し、胸部ストラップでECG信号を記録しました。参加者は、算術課題によってストレスを誘発した後、落ち着いたビーチ環境によってリラクゼーションを引き出すよう設計された没入型VR体験に取り組みました。これらのセッションには、視覚・聴覚・嗅覚の同期化されたマルチメディア刺激が組み込まれていました。感情状態は、検証済みの自己報告式質問票による主観的評価と、生理学的測定の分析による客観的評価によって評価されました。質問票の統計分析により、VRのリラクゼーションが負の感情、特に嗅覚の強化によって有意に低減することが確認されました。さらに、広く認知されている機械学習アルゴリズムを用いて、データセット上のベンチマークを構築しました。valenceに関する二値分類について、BVPデータから得られた最良の性能はCNNおよびCNN-Bi-GRUモデルで、いずれも平均F1スコア0.63、AUC 0.69を達成しました。arousalについては、軽量なTransformerアーキテクチャが最もバランスの取れた結果を示し（F1-0 0.54およびF1-1 0.63）、反復型のハイブリッドを上回りました。リラクゼーション課題では、CNN-Bi-GRUモデルが最高の総合性能（平均F1スコア0.64、AUC 0.69）を達成しました。