良いAI査読とは何か？AIピアレビューに対する「懸念レベル」の診断

Abstract

AIが生成したレビューを、評決（verdict）の一致によって評価することは不十分であると広く認識されていますが、現在の代替案は、システムがどの懸念（concern）を特定するのか、どのように優先順位づけるのか、あるいはそれらの優先順位が最終的な評価を形作ったレビューの根拠（review rationale）と整合しているのかといった点を、ほとんど監査しません。本研究では、懸念アラインメント（concern alignment）を提案します。これは、評決レベルだけでなく懸念レベルでAIレビューを評価する診断フレームワークです。このフレームワークの中核となるデータ構造はマッチグラフ（match graph）であり、公式の懸念とAI生成の懸念の間における二部グラフのアラインメントを、マッチタイプ、重大度（severity）、および反論後の取り扱い（post-rebuttal treatment）で注釈付けして表現します。この成果物から、二値精度へと始まり、懸念の検出、評決に層別された振る舞い、意思決定を意識したカリブレーション、そして反論を踏まえた分解へと進む評価ラダー（evaluation ladder）を導きます。 6つの構成で評価された4つの公開AIレビューシステムを対象としたパイロット研究では、懸念レベルの分析により、検出だけではレビューの質は決まらないことが示されました。多くの場合、決定的な制約（binding constraint）はカリブレーションです。システムは公式の懸念の非自明な割合を検出できますが、採択論文（accepted papers）に対しては、ほとんどのシステムが懸念の25--55%を「決定的（decisive）」として印を付けており、私たちの運用上の定義では、採択論文において公式の懸念が決定的なブロッカー（decisive blocker）として扱われることはありませんでした。全体として同一の評決精度（overall verdict accuracy）でも、リジェクト寄りの振る舞い（reject-heavy behavior）と低リコールのプロファイル（low-recall profiles）を隠してしまうことがあり、また低い「全レビューにおける誤った決定的率（low full-review false decisive rates）」は、キャリブレーションされた優先順位付けというよりも、懸念の希釈（concern dilution）によって部分的に説明できる場合があります。ほとんどのシステムはネイティブな「採択/不採択（accept/reject）」を出力せず、レビューのトーンからそれを推測することは手法に依存します。そのため、推論（inference）の選択に対して安定に保たれる、懸念レベルの診断の必要性が強調されます。貢献は、AIレビューアがどの懸念を特定するのか、どのように重みづけるのか、そしてそれらの優先順位が、論文の最終的な評価を形作る根拠（review rationale）と整合しているかどうかを監査するために再利用可能な評価フレームワークです。