合成ユーザー、しかし本質的な違い：マルチターン会話におけるユーザーシミュレーション評価フレームワーク

概要: AIチャットボットの評価のために、実際のユーザとチャットボットの対話を収集して採点する代わりに、ユーザシミュレーションを探ることへの関心が高まっています。この目的のためには、シミュレーションの現実性、すなわち、シミュレーションされた対話がユーザがチャットボットと行う実際の対話をどの程度反映しているかを確実にすることが重要です。現存するシミュレーションの現実性を評価するほとんどの手法は、大まかな品質のシグナルを生成するにとどまり、個々の対話レベルのみに留まっています。この分野でより厳密な評価を支援するために、本研究では、実対話とシミュレーション対話を8つの次元にわたって分布的に捉えることを可能にする評価フレームワーク realsim を提案します。この枠組みは、相互作用のコミュニケーション機能に関連する属性、ユーザ状態、ユーザメッセージの表層形式を含みます。次に、チャットボットアプリケーションの16のドメインをカバーする、1K件のマルチターンでタスクに焦点を当てた実ユーザ—チャットボット対話から成る厳選データセットを用いて、このフレームワークを具体化します。全体として、シミュレートされたユーザは、実際のユーザが相互作用にもたらすコミュニケーション上の摩擦を捉えるのが苦手である傾向があり、そのようなシミュレーションに基づく評価が過度に楽観的になり得ることがわかりました。また、ドメインによって性能にばらつきが見られ、ドメイン固有のユーザシミュレータが必要であることを示唆している可能性があります。