パーソナに基づく会話安全性評価：AIコンパニオンのマルチターン会話における評価

Abstract

感情的な関与を目的として設計されたAIコンパニオンアプリがもたらすリスクについて、懸念が高まっています。既存の安全性評価は、多くの場合、自己申告によるユーザーデータやインタビューに依存しており、リアルタイムの動態に関する洞察は限定的です。私たちは、AIコンパニオンアプリとのマルチターン対話に対する、制御されたシミュレーションと安全性評価のための、初のエンドツーエンドでスケーラブルな枠組みを提示します。私たちの枠組みは、4つの主要コンポーネントを統合しています。すなわち、臨床および心理測定学的検証を伴うペルソナ構築、ペルソナ固有のシナリオ生成、シナリオ駆動のマルチターン・シミュレーション（ペルソナの忠実性を保持する対話洗練モジュールを含む）、および害評価です。この枠組みを、広く使われているAIコンパニオンアプリであるReplikaが、高リスクのユーザ群に対してどのように応答するかを評価するために適用します。私たちは、うつ病、 不安、PTSD、摂食障害、そしてincelのアイデンティティを持つ個人を表す9つのペルソナを構築し、25の高リスクシナリオにわたって1,674組の対話ペアを収集します。私たちは、感情モデリングとLLM支援による発話および害のレベル分類を組み合わせ、これらのやり取りを分析します。その結果、Replikaは好奇心とケアによって支配された、狭い感情の幅を示す一方で、自傷、自制的でない食行動、暴力的ファンタジーの物語などの危険な内容を、しばしば反映したり、正規化したりすることが分かりました。これらの知見は、制御されたペルソナ・シミュレーションが、AIコンパニオンの安全性リスクを評価するためのスケーラブルなテストベッドとして機能し得ることを示しています。