Re2: 一貫性を保証した全段階の査読とマルチターン反論ディスカッションのデータセット

要旨: AIなどの分野における科学的進歩の重要な要素である査読は、提出量の急増により査読システムを逼迫し、これにより査読者不足と査読品質の低下を招きます。研究の人気が高まっていることに加え、この過負荷のもうひとつの重要な要因は、提出前に著者自身が自分の研究を評価するのに効果的なツールが不足していることに起因する、質の低い原稿の再提出が繰り返されることです。大規模言語モデル（LLMs）は著者と査読者の双方を支援する上で大きな可能性を示していますが、その性能は査読データの品質によって根本的に制約されます。しかし、既存の査読データセットには三つの主要な制約があります：（1）データの多様性が限定的であること、（2）改訂版提出の使用による一貫性の欠如と低品質データ、（3）反論および著者と査読者の相互作用を伴うタスクのサポート不足。これらの課題に対処するため、Re^2と名付けられた最大の一貫性を保証した査読および反論データセットを導入します。これはOpenReview上の24の会議と21のワークショップからの19,926件の初回提出、70,668件の査読コメント、53,818件の反論から成る。さらに、反論と議論の段階は、従来の静的な査読タスクと動的な対話型LLMアシスタントの両方をサポートする多ターン対話のパラダイムとして構築され、著者が原稿を洗練させるためのより実践的な指針を提供し、増大する査読負担の緩和に役立ちます。データとコードは https://anonymous.4open.science/r/ReviewBench_anon/ で利用可能です。