CounselReflect：メンタルヘルス対話を監査するためのツールキット

要旨: メンタルヘルス支援は、会話型システム（例：LLMベースのツール）によって媒介されることがますます増えていますが、ユーザーはしばしば、受け取る支援の品質や潜在的なリスクを監査するための構造化された手段を欠いています。本稿では、メンタルヘルス支援対話を監査するためのエンドツーエンド・ツールキットである CounselReflect を提案します。単一の不透明な品質スコアを生成するのではなく、CounselReflect は、セッション・レベルの要約、ターン・レベルのスコア、そして証拠に紐づけられた抜粋を備えた、構造化された多次元レポートを提供し、透明性のある検査を可能にします。このシステムは、評価シグナルの2つのファミリを統合します：(i) タスク固有の予測器によって生成される12のモデルベース指標、(ii) 文献に由来するライブラリ（69指標）とユーザー定義のカスタム指標によってカバレッジを拡張するルーブリックベース指標であり、設定可能なLLMジャッジによって実運用化されています。CounselReflect はWebアプリケーション、ブラウザ拡張、ならびにコマンドライン・インターフェース（CLI）として利用可能で、リアルタイムの場面だけでなく大規模な運用にも対応します。人手による評価として、20名の参加者によるユーザー調査と、メンタルヘルス専門職6名による専門家レビューを含み、CounselReflect が理解しやすく、使いやすく、そして信頼できる監査を支援することを示唆しています。デモ動画および完全なソースコードも提供します。