AI生成テキスト検出が失敗する理由：ベンチマーク精度を超えた説明可能AIによる証拠

Abstract

大規模言語モデル（LLM）の広範な普及により、AI生成テキストの検出は差し迫った、かつ複雑な課題となっています。多くの検出システムはベンチマークで高い精度を報告しているものの、実運用の状況での信頼性はなお不確かであり、その解釈可能性はしばしば検討されていません。本研究では、現代的な検出器が本当に機械による著者性を識別しているのか、それとも単にデータセット固有のアーティファクトを利用しているだけなのかを調査します。そこで、言語的特徴量エンジニアリング、機械学習、説明可能AI（XAI）技術を統合した、解釈可能な検出フレームワークを提案します。PAN CLEF 2025 および COLING 2025 という2つの著名なベンチマーク・コーパスで評価したところ、30の言語特徴量で学習した本モデルは、リーダーボードで競争力のある性能を達成し、F1スコアは0.9734でした。しかし、ドメイン間および生成器間の体系的な評価を行うと、実質的な一般化の失敗が明らかになります。インドメインで優れた性能を示す分類器は、分布シフト下で大きく性能が低下するのです。SHAPベースの説明を用いて、最も影響の大きい特徴がデータセット間で大きく異なることを示します。これは、検出器が安定した機械著者性の手がかりというよりも、データセット固有のスタイル的手がかりに依存していることを示唆します。さらに詳細な誤り分析による検討を行うことで、言語特徴量に基づくAIテキスト検出における根本的な緊張関係が浮かび上がります。すなわち、インドメインのデータで最も識別的である特徴は、同時に、ドメインシフト、フォーマットの変動、およびテキスト長の影響を最も受けやすい特徴でもあるのです。この知見は、異なる状況にわたって頑健なAI検出器を構築する助けになると考えています。再現性と実務での利用を支援するために、個々のテキストに対して予測とインスタンスレベルの説明の両方を返す、オープンソースのPythonパッケージを公開します。