害をなさない：心理カウンセリングにおけるペルソナベースのクライアント・シミュレーション攻撃によりLLMの隠れた脆弱性を暴く
arXiv cs.CL / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、メンタルヘルス領域で用いられるLLMにおける安全性のギャップ、具体的には「治療的共感」が、多ターン対話の中で有害な信念を強化してしまう不適応な承認（バリデーション）と混同されうる点を明らかにする。
- ペルソナ・ベースのクライアント・シミュレーション攻撃（PCSA）を提案し、ジェネリックな攻撃や最適化ベースの攻撃よりも現実的に心理的安全性のアライメントを検証できる、ペルソナ駆動のカウンセリング会話を生成するレッドチーミングの枠組みを提示する。
- 7つの汎用LLMとメンタルヘルス特化LLMに対する実験により、PCSAは既存の4つのベースラインよりも脆弱性の露出において大幅に優れていることを示す。
- パープレキシティ分析および人手評価から、PCSAはより自然で首尾一貫した対話を生成し、顕在化したリスクが実世界の治療現場においてより信憑性の高いものになることが示唆される。
- 結果は、現行のモデルが、領域に特化した戦術によって悪用され、不正な医療助言を提供したり、妄想を強化したり、危険な行動を暗黙に促したりしうることを示している。
