CoPA：データに基づく認知要因でパーソナライズされた質問応答をベンチマークする

arXiv cs.CL / 2026/4/17

📰 ニュースDeveloper Stack & InfrastructureModels & Research

共有:

要点

この論文は、質問応答におけるパーソナライゼーションの評価が依然としてボトルネックであると指摘し、従来の手法が語彙レベルの類似度や手作業のヒューリスティックに依存しがちで、データ駆動の検証が不足していると述べています。
コミュニティと個人の嗜好の乖離（CIPD）を導入し、個人の選好が集団の合意より優先されるケースから、6つのパーソナライズ要因を抽出します。
6つの要因ごとにきめ細かく評価できるベンチマーク「CoPA」を提案しており、1,985人分のユーザープロファイルを用いています。
CoPAは、対話の行動パターンから推定したユーザー固有の認知嗜好と、モデル出力との整合を定量化し、汎用的なQA指標よりも識別力の高い評価基準を目指します。
GitHubでコードが公開されており、ベンチマークや関連する評価手法への適用が可能です。