RAGチャットボットが内部を露呈する：患者向け医療AIにおけるプライバシーとセキュリティ上のリスクに関する匿名ケーススタディ

要旨: 背景: 取得拡張生成（RAG）に基づく、患者向けの医療チャットボットは、アクセスしやすく根拠のある健康情報を提供するものとしてますます推奨されている。AI支援による開発は、それらを構築するための障壁を下げるが、それでも厳格なセキュリティ、プライバシー、ガバナンスの統制が求められる。目的: 公開されている患者向け医療RAGチャットボットに対して、匿名化された非破壊的なセキュリティ評価を報告し、健康領域における生成AIの安全な導入に向けたガバナンス上の教訓を特定すること。方法: 2段階の戦略を用いた。第一に、Claude Opus 4.6が探索的なプロンプトベースのテストと、構造化された脆弱性仮説を支援した。第二に、候補となった発見事項はChrome Developer Toolsを用いて手動で検証した。ブラウザに表示されるネットワークトラフィック、ペイロード、APIスキーマ、設定オブジェクト、保存された対話データを調査した。結果: LLM支援のフェーズにより、重大な脆弱性が特定された。機密のシステムおよびRAG設定が、サーバー側で制限されるのではなく、クライアント—サーバー通信を通じて公開されているように見えた。手動検証により、通常のブラウザ検査によって、システムプロンプト、モデルおよび埋め込み設定、取得パラメータ、バックエンドのエンドポイント、APIスキーマ、文書およびチャンクのメタデータ、ナレッジベースの内容、ならびに直近の患者チャットボット会話1,000件を収集できることが確認された。導入はプライバシー保証とも矛盾していた。健康関連の質問を含む完全な会話記録が、認証なしで取得可能だった。結論: 患者向けRAGチャットボットにおける深刻なプライバシーおよびセキュリティ上の失敗は、専門的スキルや認証なしに、標準的なブラウザツールで特定できる。独立したレビューは、導入の前提条件であるべきだ。商用LLMは、この評価を加速した（誤った開発者ペルソナのもとでも）。監査者に提供される支援は、同様に攻撃者にも利用可能である。