大規模なAI支援査読：AAAI-26 AIレビュー・パイロット

概要: 投稿件数の急増により、科学分野の査読はますます大きな負荷に直面しており、査読品質・一貫性・迅速性を維持することが難しくなっています。近年のAIの進展により、査読におけるAIの活用がコミュニティで検討されるようになりましたが、未解決の重要な問題は、AIが現実の学会規模において技術的に妥当な査読を生成できるかどうかです。ここでは、AI支援型査読の初の大規模なフィールド展開を報告します。AAAI-26の主要トラックのすべての投稿に対し、最先端のシステムから、明確に識別された1件のAIによる査読が付与されました。このシステムは、最先端のモデル、ツール利用、そして保護策を、複数段階のプロセスに統合することで、22,977本のフル査読論文すべてに対する査読を1日未満で生成しました。AAAI-26の著者およびプログラム委員会メンバーを対象とした大規模調査では、参加者がAIによる査読を有用だと感じただけでなく、技術的正確性や研究上の提案といった重要な観点において、人間による査読よりもAIによる査読を実際に好むことが示されました。さらに、本研究では新しいベンチマークを導入し、当該システムが、科学的な多様な弱点を検出する点で、単純なLLM生成による査読ベースラインを大幅に上回ることを確認しました。これらの結果は、最先端のAI手法が、学会規模における科学的査読にすでに意味のある貢献をし得ることを示しており、研究評価のための次世代の、人とAIの相乗的なチーミングへ向けた道を開くものです。