悪意あるLLMベースの会話型AIがユーザーから個人情報を引き出す

Abstract

ChatGPTのようなLLMベースの会話型AI（CAI） あるいはGenAIチャットボットは、さまざまな領域でますます利用されている一方で、プライバシー上のリスクをもたらします。というのも、ユーザはCAIとの会話の中で個人情報を開示してしまう可能性があるためです。近年の研究により、LLMベースのCAIは悪意ある目的に利用され得ることが示されています。しかし、悪意あるLLMアプリケーションの中でも、特に新規で懸念の大きいタイプは未だ検討されていません。それは、ユーザから個人情報を意図的に抽出するために設計された、LLMベースのCAIです。 本論文では、ユーザから個人情報の開示を促すために異なる戦略を用いたシステムプロンプトに基づいて、我々が作成した悪意のあるLLMベースのCAIについて報告します。502名の参加者を対象にランダム化比較試験を実施することで、会話中にCAIがユーザから個人情報を抽出する能力を体系的に検証します。参加者から個人情報を抽出するうえで、さまざまな悪意あるCAIおよび良性のCAIの有効性を評価し、CAIとの相互作用後の参加者の認識を分析します。 我々の結果は、悪意のあるCAIが良性のCAIよりも有意に多くの個人情報を抽出することを明らかにしています。さらに、プライバシーには社会的な性質がある、という発想に基づく戦略が最も効果的であり、同時に認識されるリスクを最小化できることが分かりました。本研究は、この新規タイプの悪意あるLLMベースのCAIがもたらすプライバシー上の脅威を強調するとともに、将来の研究および実務を導くための実行可能な推奨事項を提示します。