差分プライバシーによるテキスト書き換えが言語スタイルを変える

arXiv cs.CL / 2026/4/30

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、テキストに対する差分プライバシーが、単語レベルの置換から言語モデルの生成力を活用した連続的な文レベルの書き換えへと発展してきたと述べています。
  • 差分プライバシーの制約は語彙の違いだけでなく、テキストのコミュニケーション的・スタイル的な「署名」に対して体系的な変化を引き起こすことを示します。
  • とりわけ、プライバシー制約下での書き換えは、対話的マーカー、文脈参照、複雑な従属構造の大幅な減衰として現れ、人間らしい自然な談話の特徴が失われると報告しています。
  • プライバシーバジェットの幅を比較すると、自己回帰的なパラフレーズと双方向の置換の両アーキテクチャが、「非関与的で非説得的」なレジスターへ収束することが観察されます。
  • 意味内容は比較的保持される一方で、人が書いた文章を特徴づける微妙なスタイル指標が構造的に均質化され、言語的アイデンティティが損なわれうると結論づけています。

要旨: テキストに対する差分プライバシー(DP)は、言語モデルの生成能力を活用することで、バラバラの単語レベルの置換から、連続した文レベルの書き換えへと成熟してきた。こうした形態のテキストの秘匿化は、形式的なプライバシー保証と文法的な整合性のバランスを取るのに最適である一方で、テキストのレジスター(文体・書きぶり)の同一性に対する影響は、ほとんど未解明のままである。差分プライベートな書き換えに対して多次元のスタイル特性(スタイリスティック・プロファイリング)を行うことで、プライバシーのコストが語彙の変化をはるかに超えて及ぶことを示す。具体的には、プライバシー制約下での書き換えが、テキストのコミュニケーション上のシグネチャに対して体系的な機能的変異(functional mutation)を引き起こすことを見出す。この変化は、対話的なマーカー、文脈への参照、複雑な従属構造の深刻な減耗(attrition)によって特徴づけられる。プライバシーバジェットのスペクトルにわたって、自動回帰的な言い換え(autoregressive paraphrasing)と双方向の置換(bidirectional substitution)を比較すると、両方のアーキテクチャが、関与せず説得もしないレジスターへ収束することを観察する。このレジスターに鈍感なサニタイズは意味内容を効果的に保持するが、人が書いた言説を特徴づける微妙なスタイル上のマーカーを構造的に均質化してしまう。