大規模言語モデルにおけるデータ汚染の検出

要旨: 大規模言語モデル（LLM）は学習のために大量のデータを利用しており、その一部は著作権で保護されたソースから来ている可能性があります。メンバーシップ推論攻撃（MIA）は、それらの文書を検出し、それがLLMの学習コーパスに含まれているかどうかを特定することを目的としています。ブラックボックスMIAは大量のデータ操作を要するため、その比較はしばしば困難になります。本研究では、ブラックボックスの仮定のもとでの最先端（SOTA）MIAを調査し、SOTAのLLMにおいてそれらがメンバーシップを確実に検出できるかどうかを判断するために、統一された一連のデータセットを用いて相互に比較します。さらに、ブラックボックスMIAのための一つの可能なアプローチを示すために「親しみ度ランキング（Familiarity Ranking）」という新しい手法を開発し、それによってLLMが自身の推論をより理解できるよう、表現の自由度を高められるようにしました。その結果、いずれの手法もLLMにおけるメンバーシップを確実に検出することはできないことが示されました。これは、複数のLLMにわたるすべての手法でAUC-ROCが約0.5であることによって示されています。より高度なLLMにおけるTPRおよびFPRの高さは、推論能力および汎化能力の高さを示しており、ブラックボックスMIAを用いてLLMにおけるメンバーシップを検出することの難しさを際立たせています。