デコーディング制約付きビームサーチによって言語モデルにおける準逐語的抽出リスクを推定する
arXiv cs.LG / 2026/3/27
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、貪欲デコーディングに基づく既存の記憶化／抽出リスク測定手法が、異なる系列間でのリスクのばらつきを見落としており、準逐語的抽出のケースを捉えられていないと主張する。
- これは、ある接頭辞から特定の接尾辞を生成する確率を、デコーディング方式のもとで計算するための「確率的抽出」を導入するが、純粋な逐語的記憶に限って計算可能であり、計算上の制約があると指摘する。
- 著者らは、準逐語的抽出リスクを効率的に近似するために、デコーディング制約付きビームサーチを提案し、概ね系列あたり約20件のモンテカルロ・サンプルというコストで決定論的な下限を得る。
- 実験の結果、この手法により、逐語のみのアプローチでは検出できない「より抽出可能な系列の大幅な増加」、系列あたりの抽出確率質量の増大、さらにモデルやテキストに依存したパターンが明らかになることが示される。
- 全体として本研究は、サンプリングコストを過度に増やすことなく準逐語的記憶化リスクを測定可能にすることで、プライバシー／著作権に関連する主要な盲点に取り組むことを目的としている。
広告
