私が主要な学会の査読を始めたばかりの頃、しばしば「大きな懸念はありません（I don't have major concerns）」というような文言で、レビューを送り合ったり受け取ったりするのが一般的でした。
ここ3〜5年の間、学術分野では低品質なレビューを取り締まるために多大な努力がなされてきました。これは素晴らしいことです。ですが、その副作用として、そうした種類の「簡単な（easy）」レビューを見ることがなくなってしまいました。査読者は、仕事をしていることを示すために論文のどこかがおかしい点を見つけることが義務づけられているように感じます。たとえ全員が受理に賛成している論文であっても、リバタル（反論）期間中に著者へ追加の数値/図を5〜10個求められることはよくあります。
多くの場合、これらの実験は有害です。そのほとんどが「もし〜だったら（what ifs）」です。別のバックボーン、タスク、データセット、あるいは特定の設定はどうでしょうか？ そして、何かがうまくいかない（特にリバタル期間中に）と、査読者には良い「引っかかり（gotcha）」の瞬間が訪れます。私は著者として不満を言っているだけでなく、査読者としても不満を言っています。何度も議論の途中で介入しなければなりませんでした。「査読者Yが提案したXの実験は重要ではないと思います」と。そしてそのたびに、AC（アカデミック・コミッティ/採否側）が私に賛同しました。
実験に求められる要件は、常に「中核となる主張を裏付けるのに十分であること」であるべきで、「ほとんど当てはまらないあらゆるケースを徹底的に検討すること」ではありません。みなさん、「論文は合格ラインを通っているが、評価には影響しない好奇心の質問がある」と言っても大丈夫です（この文を自分のレビューで何度も書いてきました）。
[link] [comments]
