PeerPrism：ピア評価の“出どころ”対原稿作成のAI

概要: 大規模言語モデル（LLM）は、科学分野の査読においてますます利用されており、草案作成、書き換え、拡張、洗練などを支援しています。しかし、既存の査読用LLM検出手法は、著者性を二値の問題――人間かAIか――としてほぼ扱っており、現代の査読ワークフローが持つハイブリッドな性質を考慮していません。実際には、評価の着想（アイデア）と表層の実現（サーフェスな文章化）は異なる出所から生じ得るため、人間とAIの協働には連続的な幅（スペクトラム）が存在します。
本研究では、着想の出所（idea provenance）とテキストの出所（text provenance）を明示的に切り分けるために設計された、20,690件規模の査読ベンチマーク「PeerPrism」を提案します。私たちは、完全に人間が生成する場合、完全に合成（合成的）である場合、そして複数のハイブリッド変換をまたぐ、制御された生成レジームを構築します。この設計により、検出器が表層テキストの起源を特定するのか、あるいは評価の推論の起源を特定するのかを、体系的に評価できるようになります。私たちはPeerPrism上で、最先端のLLMテキスト検出手法をベンチマークします。標準的な二値課題（人間対完全に合成）ではいくつかの手法が高い精度を達成する一方で、ハイブリッドなレジームでは予測が鋭く分岐します。特に、アイデアが人間に由来するのに表層の文章がAI生成である場合、検出器は頻繁に意見が一致せず、矛盾した分類結果を出します。スタイロメトリック分析および意味論的分析を伴うことで、私たちの結果は、現在の検出手法が表層の実現と知的貢献とを取り違えている（conflateしている）ことを示します。
結論として、査読におけるLLM検出は、二値の帰属（attribution）問題に還元できないことを示します。代わりに、著者性は、意味論的な推論とスタイル的な実現にまたがる多次元の構成要素としてモデル化される必要があります。PeerPrismは、このような設定における人間とAIの協働を評価する最初のベンチマークです。再現可能な研究を促進するために、すべてのコード、データ、プロンプト、評価スクリプトを https://github.com/Reviewerly-Inc/PeerPrism で公開します。