不可識別性を超えて：LLM APIにおける抽出リスクの測定

要旨: 差分プライバシーの上界や、低い実測に基づくメンバーシップ推論などの識別不能性（indistinguishability）の性質は、モデルがより広範な記憶（memorization）リスクに対して十分に保護されていることを示すための代理指標として、広く扱われてきました。しかし本研究では、識別不能性の性質は、LLM APIにおけるデータ抽出（data extraction）を防ぐための十分条件でも必要条件でもないことを示します。抽出と、識別不能性に基づくプライバシーの間のプライバシーゲームの分離を形式化し、識別不能性と非抽出可能性（inextractability）が比較不能であること、つまり識別可能性（distinguishability）を上から抑えることが抽出可能性（extractability）を上から抑えることを意味しないことを示します。このギャップに対処するため、ブラックボックスの敵対者がLLM APIに保護されたl-グラム部分文字列を出力させるには、少なくとも2^b本の期待クエリが必要であることを要請する(l, b)-非抽出可能性（inextractability）を定義として導入します。これを最悪ケースの抽出ゲームによって具体化し、標的付きの厳密抽出に対する順位ベースの抽出リスク上界を導出します。さらに、非標的および近似抽出を扱う拡張も示します。得られた推定器は、複数の攻撃試行および接頭辞の適応（prefix adaptations）にわたる抽出リスクを捉えます。これが、標準的な貪欲抽出（standard greedy extraction）に対してタイトで効率的な推定を与え、さらに任意のデコーディング設定における確率的抽出リスクに対する上界を与え得ることを示します。実験的に、異なるモデルにわたって抽出可能性（extractability）を評価し、識別不能性との関係を明確化するとともに、既存の抽出リスク推定器に対する優位性を示します。加えて、LLM APIのデプロイにおける、モデル訓練、APIアクセス、デコーディング設定にまたがる実行可能な緩和指針（mitigation guidelines）を提示します。本研究のコードは公開されています: https://github.com/Emory-AIMS/Inextractability。