人間中心のLLMプライバシー監査: 発見と摩擦

大規模言語モデル（LLMs）は、巨大な学習コーパスとユーザーの対話から統計的連想を学習し、展開されたシステムは個人に関する情報を表出したり推測したりする可能性がある。しかし、人々は自分の名前とモデルが何を関連づけているのかを検査する実用的な手段を欠いている。我々は進行中の研究からの中間的な所見を報告し、LMP2を導入する。これはブラウザベースの自己監査ツールである。2つのユーザ研究（総計 $N_{total}{=}458$）において、GPT-4o は日常の人々の50の特徴のうち11個を、少なくとも $60 ext%$ の精度で予測し、参加者はすべての出力がプライバシー侵害とみなしているわけではないが、LLM生成の連想を制御したいと考えていると報告している。探査手法を検証するため、公開人物と不存在名に対して8つのLLMを評価し、安定した名前条件付き連想とモデルデフォルトとの間に明確な分離が観察された。我々の発見は、出力が確率的で文脈依存的で、喚起を通じてユーザーが介在する場合、モデルと個人の連想が含むものさえも過不足に規定されていないことを示し、検証や比較が難しい探査手法と指標の作成に依存していることを露呈させる。信頼性が高く、実践的な人間中心のLLMプライバシー監査へと移行するために、我々は研究で浮上した九つの摩擦を特定し、今後の研究と人間中心のLLMプライバシー監査の設計に関する提言を提示する。