AIが科学論文を審査する時：審判としてAIを信頼できるのか？

概要: 科学分野の投稿数は増え続けており、適格な人間の査読者の対応能力を上回り、編集上の期限をさらに逼迫しています。同時に、現代の大規模言語モデル（LLM）は、要約、事実確認、文献トリアージにおいて目覚ましい能力を示しており、査読へのAIの統合はますます魅力的になっています――そして実際には避けられない状況になりつつあります。しかし、初期の導入や非公式な採用は、深刻な失敗モードを露呈させました。最近の事案では、原稿に埋め込まれた隠れたプロンプトインジェクションが、LLMによって生成される査読を、不当なほど肯定的な判断へと誘導しうることが明らかになっています。補完的な研究では、敵対的な言い回し、権威バイアス、長さバイアス、そして幻覚（ハルシネーション）による主張にも対して脆弱であることが示されています。これらの出来事は、学術コミュニケーションにとって中核となる問いを提起します。すなわち、「AIが科学を査読するとき、AIの査読者を信頼できるのか？」という問いです。本論文は、セキュリティと信頼性を中心に据えたAI査読の分析を提供します。査読ライフサイクル全体にわたって攻撃を整理します――訓練およびデータ取得、机上査読、深層査読、反論、そしてシステムレベルです。この分類法を、ICLR 2025の投稿の階層化された集合に対して、4つの処置・対照プローブを用いて具体化します。さらに、2つの高度なLLMベース査読者を用いて、威信（prestige）の枠付け、主張の強さ、反論時のおべっか（sycophancy）、そして文脈の汚染（contextual poisoning）が査読スコアに与える因果的影響を切り分けます。これらの分類法と実験的監査により、AI査読の信頼性を評価し追跡するための、エビデンスに基づくベースラインが提示されるとともに、標的を定めた、検証可能な軽減策を導く具体的な失敗箇所が明確化されます。