PSI-Bench：うつ病患者シミュレータを臨床的に根拠づけ、解釈可能に評価するために

概要: 患者シミュレータは、複雑で機微な患者との相互作用に対してスケーラブルな曝露を提供することで、メンタルヘルス研修の分野で注目を集めています。抑うつ患者のシミュレーションは特に難しいものです。安全制約や高い患者ごとの差（患者の多様性）がシミュレーションを複雑にし、多様で現実的な患者行動を捉えるシミュレータの必要性を強調するからです。しかし、既存の評価は、プロンプトが十分に定義されていないLLMジャッジに大きく依存しており、行動の多様性を評価していません。私たちは、PSI-Benchという自動評価フレームワークを提案します。このフレームワークは、ターン、対話、集団の各レベルにわたって、抑うつ患者シミュレータの挙動を解釈可能で臨床的根拠に基づいた診断として提供します。PSI-Benchを用いて、2つのシミュレータ枠組みのもとで7つのLLMをベンチマークし、その結果、シミュレータは過度に長く、語彙的に多様な応答を生成し、変動性が低下し、感情の解決が早すぎ、負から正への一様な軌道に従うことを見いだしました。また、モデル規模よりも、シミュレーション枠組みのほうが忠実性（fidelity）への影響が大きいことも示します。人を対象にした研究からは、本ベンチマークが専門家の判断と強く整合していることが示されました。私たちの研究は、現在の抑うつ患者シミュレータの重要な限界を明らかにするとともに、将来のシミュレータ設計と評価を導くための、解釈可能で拡張可能なベンチマークを提供します。