検索補助付きパーソナライズド対話における評価の再考：認知と言語学的視点

要旨：認知科学と言語理論において、対話は独立した発話の連鎖として見られるのではなく、整合性、一貫性、共有された理解によって支えられた共同の活動として成り立つ。しかし、オープンドメインおよび個人化対話の多くのシステムは、表層的な類似性指標（例：BLEU、ROUGE、F1）を主な報告指標の1つとして用いており、これらは対話品質のより深い側面を捉えきれていない。個人化対話のための注目すべき検索補助付きフレームワークである LAPDOG を、評価方法論のケーススタディとして再検討する。人間とLLMベースの審査員の両方を用いて、現在の評価実践における限界を特定する。これには、破損した対話履歴、取得された物語とペルソナとの間の矛盾、整合性の取れない応答生成が含まれる。我々の結果は、人間とLLMの判断が密接に一致する一方で、語彙的類似性指標とは乖離することを示しており、認知的に根拠のある評価手法の必要性を強調する。広く、この研究は、自然な人間のコミュニケーションの原則をよりよく反映する、検索補助付き対話システムの評価フレームワークをより信頼性の高いものへと導く道を示している。