PMIScore: 会話エンゲージメントを定量化するための教師なしアプローチ

要旨: 高い対話エンゲージメントは、効果的な会話を示す重要な指標である。エンゲージメントの信頼できる指標は、大規模言語モデルのベンチマークを支援し、人間とコンピュータの相互作用の有効性を高め、または個人のコミュニケーション能力を向上させるのに役立つ可能性がある。しかし、エンゲージメントを定量化することは困難であり、それは主観的であり「金標準」が欠如している。本論文はPMIScoreを提案する。対話エンゲージメントを定量化するための効率的な教師なしアプローチだ。PMI（点互情報量）を用いる。PMIは会話履歴を条件として応答を生成する確率を指す。したがってPMIScoreはエンゲージメントの明確な解釈を提供する。対話の複雑さのためにPMIの直接計算は手に負えないので、PMIScoreは発散の双対形を用いてそれを学習した。アルゴリズムには正例および負例の対話ペアを生成し、大規模言語モデル（LLMs）によって埋め込みを抽出し、相互情報量損失関数を用いて小さなニューラルネットワークを訓練する、という要素が含まれる。我々はPMIScoreを合成データと現実世界データセットの双方で検証した。我々の結果は、PMIScoreがPMI推定の有効性を示すとともに、PMI指標自体の妥当性も示している。