要旨: 近年、複数の学術会議や学術誌が、ピアレビューにおけるLLMの使用を、既存の人間が書いたレビューの磨き込み（ポリッシング）、言い換え（パラフレージング）、および文法の修正に限って認めることを除き、禁止する方針を施行してきました。しかし、これらの方針は実際に施行可能なのでしょうか？この問いに答えるために、私たちは、複数のレベルにおける人間とAIの協働を模したピアレビューのデータセットを構築し、2つの商用システムを含む5つの最先端の検出器を評価します。私たちの分析は、すべての検出器が、LLMで磨き込まれたレビューのうち無視できない割合をAI生成として誤分類してしまうことを示しており、それによって学術的不正の誤った告発のリスクが生じます。さらに、論文原稿へのアクセスや、科学的文章に特有の制約された領域といった、ピアレビュー固有のシグナルを活用して検出精度を改善できるかどうかを調査します。そのようなシグナルを取り入れることで一部の設定では測定可能な改善が得られる一方で、各アプローチには限界があり、ピアレビューにおけるAI使用を特定するために必要とされる精度基準をいずれも満たさないことを見いだしました。重要な点として、私たちの結果は、AIテキスト検出器の使用によってピアレビューにおけるAI利用を推定した最近の一般向けの見積りは慎重に解釈されるべきだということを示唆しています。現在の検出器は、混合レビュー（協働による人間- AI出力）を、AIが完全に生成したものとして誤分類してしまうため、方針違反の程度を過大に見積もってしまう可能性があります。
LLMの利用を「推敲（校正・言い換え／文法修正）」に限定することを認める方針は、現時点では実行（強制）可能ではない
arXiv cs.CL / 2026/3/24
💬 オピニオンSignals & Early TrendsModels & Research
要点
- 本論文は、LLMの利用を「推敲（言い換え・文法修正）」のみに限定する査読（ジャーナル／カンファレンス）方針が、現在のAIテキスト検出器によって実際に強制可能かどうかを検討する。
- 人間とAIの協働度合いが異なる模擬査読データセットを用いて、著者らは、最先端の5つの検出器（商用システム2つを含む）が、LLMで推敲されたレビューを「完全にAIが生成したもの」として誤って分類する頻度が高いことを見出した。
- その結果生じる偽陽性は、「推敲のみ」を求めるルールを検出器で強制した場合に、不適切な学術的不正の告発につながる重大なリスクとなる。
- 本研究では、原稿の閲覧状況や、制約のある科学的文章作成という領域など、査読特有のシグナルが検出を改善できるかを検証するが、一部の設定では測定可能な改善があるものの、AI利用を信頼できる形で特定するために必要な精度水準にはなお到達しないと報告している。
- 本結果は、査読におけるAI利用の頻度について、公に利用される検出器ベースの推定に依拠することに警鐘を鳴らす。混在した人間–AIの出力が、純粋なAI違反として過大評価され得るためである。
