会話における感情認識のためのファジー・フィンガープリンティング：事前学習言語モデルのエンコーダに基づく手法と妥当性・人手評価研究

要旨: 会話における感情認識（ERC）では、モデルの判断は、微妙な人間の知覚に整合しているべきであり、理想的には分類プロセスに関する洞察も提供するべきである。標準的なエンコーダの事前学習言語モデル（PLM）は、これらの課題における最先端であるが、なぜ特定の予測がなされるのかについての洞察はほとんど提供しない。これは特に、ほとんどの発話が中立としてラベル付けされる不均衡データセットでは深刻であり、これらのモデルが少数派の感情を多数派の中立クラスとして誤分類しがちになる。こうした問題に対処するために、PLMとファジー・フィンガープリント（FFP）を組み合わせることで、ERCに対する新規で解釈可能な手法を提案した。FFPは、PLMの潜在空間におけるクラス固有の特徴的なクラス活性化パターンを反映するクラス別プロトタイプを提供する。これらは、各感情について学習インスタンス全体で、会話コンテキストに依存する埋め込み（プーリングされたもの）の活性を順位付けし、ファジー化することで導出される。推論時には、各入力発話も同様にファジー・フィンガープリント化され、各FFPを定義するファジー集合の交差の集約に基づくファジー類似度関数によって感情プロトタイプに照合される。実験結果は、FFPの統合が中立クラスへの過剰分類を低減することを示し、さらに人間による評価でもFFP予測の妥当性が裏付けられる。提案手法は、深層ニューラル推論と人間の知覚の間のギャップを埋めるものであり、最先端水準での性能を発揮しながら、同時に分類手順に関する有益な洞察も提供する。