概要: 本稿では、機械生成テキスト（MGT）検出器を体系的に評価するための拡張可能なプラットフォームであるMGTEVALを提案します。MGT検出においては急速な進展が見られるものの、既存の評価は、データセット、前処理、攻撃、指標にまたがって断片的であることが多く、その結果として比較や再現が困難になっています。MGTEVALは、ワークフローを4つのコンポーネント、すなわち「データセット構築」「データセット攻撃」「検出器の学習」「性能評価」に整理します。設定可能なLLMによってMGTを生成してカスタムベンチマークを構築し、12種類のテキスト攻撃をテストセットに適用し、統一されたインターフェースによって検出器を学習し、有効性、頑健性、効率性を報告することをサポートします。このプラットフォームは、コードを書き換えずにユーザーフレンドリーな実験を行えるよう、コマンドラインとWebベースの両方のインターフェースを提供します。
MGTEVAL：機械生成テキスト検出器を体系的に評価するためのインタラクティブ・プラットフォーム
arXiv cs.CL / 2026/4/29
💬 オピニオンDeveloper Stack & InfrastructureTools & Practical UsageModels & Research
要点
- MGTEVALは、機械生成テキスト（MGT）検出器を体系的かつ再現可能に評価するための拡張可能なプラットフォームである。
- 既存研究の分断（データセット、前処理、攻撃、指標のばらつき）に対し、データセット作成・テキスト攻撃・検出器学習・性能評価を標準化することで対処している。
- 設定可能なLLMでMGTを生成してカスタムベンチマークを作成し、テストセットに12種類のテキスト攻撃を適用した上で、統一インターフェースで検出器を学習できる。
- 効果（effectiveness）、頑健性（robustness）、効率（efficiency）という複数の観点で結果を報告する。
- コードの書き直しを減らすことで、研究者や実務者が異なるデータセットや設定下で検出器を比較しやすくすることを目指している。
