解釈可能性と予測可能性に基づくAIテキスト検出の再現研究

Abstract

本論文は、機械生成テキストの著者推定のために AuTexTification 2023 の共有タスクで用いられたシステムを再現・拡張します。まず、元の結果を再現しようとしました。データ分割、モデルの入手可能性、実装の詳細の違いにより、正確な再現は不可能でした。次に、より新しい多言語対応の言語モデルを試し、26 個の文書レベルのスタイロメトリック特徴を追加しました。さらに、SHAP 分析を適用して、どの特徴がモデルの判断に影響を与えるかを検討しました。元の GPT-2 モデルを、確率的特徴を計算するための Qwen や mGPT のような新しい生成モデルに置き換えました。文脈表現には mDeBERTa-v3-base を用い、英語とスペイン語の両方に同じ設定を適用しました。これにより、サブタスク1とサブタスク2で共通の設定を1つ使用できるようになりました。我々の実験は、追加のスタイロメトリック特徴が両方のタスクと両方の言語で性能を改善することを示しています。多言語設定は、言語特有のモデルと同等、またはそれよりも良い結果を達成します。さらに、明確なドキュメンテーションが、信頼性のある再現と公正な比較のために重要であることを示しています。