MedPriv-Bench: 医療分野のオープンエンド質問応答における大規模言語モデルのプライバシーと有用性のトレードオフを評価するベンチマーク

要約: 最近の検索強化生成（RAG）の進展により、大規模言語モデル（LLMs）は出力を臨床証拠に基づかせることが可能になっています。しかし、LLMsを外部データベースに接続することは、文脈漏洩のリスクを伴います。これは、医療情報の独自の組み合わせが明示的な識別子がなくても患者の再識別を可能にする微妙なプライバシー上の脅威です。医療分野の現在のベンチマークは主に正確性に焦点を当てており、このようなプライバシー問題を考慮していません。HIPAA（医療保険の携行性と説明責任に関する法）および GDPR（一般データ保護規則）などの厳格な規制にもかかわらず。このギャップを埋めるべく、医療分野のオープンエンドな質問応答においてプライバシー保護と臨床的有用性を共同で評価することを目的とした、最初のベンチマークである MedPriv-Bench を提案します。我々のフレームワークは、複数のエージェントと人間を介在させるパイプラインを活用して、機微な医療コンテキストと臨床的に関連するクエリを合成し、現実的なプライバシー圧力を生み出します。データ漏洩を定量化する自動ジャッジとして事前学習済み RoBERTa-自然言語推論（NLI）モデルを活用した標準化された評価プロトコルを確立し、人間の専門家との整列度の平均で85.9%の一致を達成しています。9つの代表的なLLMを対象とした広範な評価を通じて、顕著なプライバシー-有用性のトレードオフを示しています。私たちの知見は、プライバシーに配慮した環境において医療AIシステムの安全性と有効性を検証するには、ドメイン特化型のベンチマークが不可欠であることを強調しています。