エージェント的タスクにおける ユーザーシミュレーションの Sim2Real ギャップに留意する

要旨: NLP評価が静的ベンチマークから複数ターンの対話型設定へ移行するにつれて、LLMベースのシミュレータはユーザーの代理として広く用いられるようになり、ユーザーターンを生成する役割と評価信号を提供する役割の二つを担っている。しかし、これらのシミュレーションはしばしば実際の人間の行動に忠実であると想定される一方で、厳密な検証が欠如していることが多い。私たちはユーザーシミュレーションにおける Sim2Real ギャップを正式化し、実在人間を用いた全ての τ-bench プロトコルを実行した初めての研究を提示し、31 の LLM シミュレータを商用・オープンソース・専門系ファミリを横断してベンチマークする。USI（User-Sim Index）という、LLMシミュレータが実際のユーザーの対話的行動とフィードバックにどれだけ近いかを定量化する指標を導入する。行動的には、LLMシミュレータは過度に協力的で、文体が均一で、現実的なフラストレーションや曖昧さを欠いており、「イージーモード」を作り出して、エージェントの成功率を人間のベースラインを上回るように膨らませている。評価では、実在人間は 8 つの品質次元にわたって微妙な判断を下す一方、シミュレートされたユーザーは均一によりポジティブなフィードバックを出す。ルールベースの報酬は、人間のユーザーが生み出す豊かなフィードバック信号を捉えきれていない。総じて、より高い汎用モデル能力が必ずしもより忠実なユーザーシミュレーションにつながるとは限らない。これらの知見は、エージェント開発サイクルにおいて LL M ベースのユーザーシミュレータを使用する際の人間の検証の重要性を浮き彫りにし、ユーザーシミュレーションの改善されたモデルを推進する。