Luminol-AIDetect：テキストシャッフル下のパープレキシティに基づく高速・ゼロショット機械生成文検出

Abstract

機械生成テキスト（MGT）の検出には、モデル固有の指紋に頼るのではなく、生成モデル間で構造的に不変な信号を特定することが必要である。本研究では、大規模言語モデルが局所的な意味の一貫性において優れている一方で、人間の文章と比べて自己回帰的な性質により、固有の種類の構造的脆弱性が生じるのではないかと仮説を立てる。この脆弱性を「コヒーレンスの破壊（coherence disruption）」を通じて明らかにする、新しいゼロショットの統計的アプローチとしてLuminol-AIDetectを提案する。単純なランダム化によるテキストシャッフル手順を適用することで、得られるパープレキシティの変化が、MGTがシャッフル下で示す特徴的なパープレキシティの分散が、人間が書いたテキストのより安定した構造的変動とは著しく異なることに対応し、原理に基づくモデル非依存の弁別基準として機能することを示す。Luminol-AIDetectは、この相違を意思決定プロセスに活用する。そこでは、入力テキストとそのシャッフル版から、少数のパープレキシティに基づくスカラー特徴量を抽出し、その後、密度推定とアンサンブルに基づく予測によって検出を行う。8つのコンテンツ領域、11種類の敵対的攻撃タイプ、18の言語にわたって評価した結果、Luminol-AIDetectは最先端の性能を示し、先行手法よりも安価でありながらFPRを最大17倍低減することが確認された。