重要なものを測る!! メンタルヘルス会話における治療原則の評価

要旨: メンタルヘルス分野で大規模言語モデルの利用が増えるにつれ、表面的な流暢さを超えて、心理療法の最良実践との整合性を評価するための、原則に基づいた評価枠組みが求められています。近年のシステムは会話上の能力を示す一方で、コアとなる治療原則への遵守を評価するための構造化された仕組みが欠けています。本論文では、臨床的根拠に基づく適切性と有効性に照らして、AIが生成するセラピストらしい応答を評価する問題を研究します。各セラピストの発話を、6つの治療原則――非判断的な受容、温かさ、自律の尊重、能動的傾聴、内省的理解、状況に応じた適切性――に沿って、きめ細かな順序尺度を用いて評価します。本研究では、専門家が付与した順序付き評価を注釈したベンチマークFAITH-Mを導入し、さらに、対話内コンテキスト、対照的な模範例の検索、知識を蒸留した推論によるマルチステージ評価枠組みであるCAREを提案します。実験の結果、CAREは強力なベースラインであるQwen3のF-1スコア38.56に対して63.34を達成し、これは64.26の改善です。加えてこのベースラインはCAREのバックボーンにもなっており、改善がバックボーンの能力そのものによるのではなく、構造化された推論と文脈モデリングによって生じることを示しています。専門家による評価と外部データセットによる評価は、領域シフト下での頑健性もさらに示す一方で、暗黙の臨床的ニュアンスをモデリングすることの難しさも浮き彫りにします。総じて、CAREはAIメンタルヘルス・システムにおける治療的忠実性を評価するための、臨床的根拠に基づいた枠組みを提供します。