DPrivBench：差分プライバシーにおけるLLMの推論能力のベンチマーク

Abstract

差分プライバシー（DP）はデータのプライバシー保護に幅広い用途を持っていますが、DPアルゴリズムの設計と検証には専門家レベルの推論が必要であり、非専門の実務者にとっては高い障壁となっています。先行研究では、あるいは多大なドメイン知識を要求する専用の検証言語に依存するか、あるいは半自動であり人間がループに入ってガイダンスを行うことが必要でした。本研究では、大規模言語モデル（LLM）がDPの推論を自動化できるかどうかを調査します。各インスタンスが、指定された仮定のもとで、ある関数またはアルゴリズムが定められたDP保証を満たすかどうかを問うベンチマークであるDPrivBenchを提案します。このベンチマークは、DPの幅広いトピックをカバーするよう注意深く設計され、難易度の多様な水準をまたぎ、単純なパターンマッチングによる近道的な推論に耐えるようにしています。実験の結果、最も強力なモデルは教科書的なメカニズムをうまく扱える一方で、すべてのモデルが高度なアルゴリズムでは苦戦しており、現在のDP推論能力には大きなギャップがあることが明らかになりました。さらに分析的な研究と失敗モード分析を通じて、自動化されたDP推論を改善するための有望な方向性をいくつか特定します。本ベンチマークは、そのような手法を開発し評価するための確固たる基盤を提供するとともに、既存の数学的推論のためのベンチマークを補完します。