LLMレビュアーのためのエビデンス収集方法は?[D]

Reddit r/MachineLearning / 2026/4/26

💬 オピニオンSignals & Early TrendsIdeas & Deep Analysis

要点

  • この投稿では、1人のレビュアーのフィードバックがLLMで生成されたように見え、そのレビュアーが高い確信度で弱いリジェクトを出した一方、他の4人は低い確信度ながらポジティブ評価だったという経験が述べられています。
  • 著者は、レビュアーが挙げた指摘の多くが些細で論文の課題に当てはまらない、または以前のLLMシミュレーションで出たものと同じであることを指摘し、さらにリバタルに対してレビュアーが返信していないとしています。
  • 著者は、LLMで書かれた可能性があるレビューへの対処として、証拠を集めてプログラム委員会(AC)に報告するべきか、報告する際に「低品質レビュー」なのか「LLM使用」なのかをどう扱うのかを尋ねています。
  • 重要な論点として、規約違反の立証が難しい点があります(文法の磨き直し以外はLLM利用が禁止されていても、証明しづらいと考えている)。他者の経験共有を求めています。

タイトルにあるとおり、私は、明らかにLLMで書かれた査読者から、高い確信度で弱いリジェクト(不採択)の通知を受けました。一方で、他の4人の査読者はいずれも低い確信度ながら肯定的なスコアを付けていました。

彼が挙げた論点の大半は些細で、私の論文には当てはまりません。彼が言及したベースラインも、私の課題とは無関係です。それらは、私がLLMシミュレーションを実行したときに挙げられたのと全く同じ論点です。

彼は私の反論に返信していません。この種の状況は、通常どのように対処するものなのでしょうか。証拠を集めて、彼をAC(会議のオーガナイザーやプログラム委員会の担当者)に報告するのでしょうか。そうだとしたら、どのように証拠を集めますか? ACに報告するとき、低品質な査読として報告しますか、それともLLMの使用として報告しますか?私の理解では、LLMを使うこと自体は許されていない(少なくとも、文法の整え以外は許されない)一方で、それを証明するのは難しいからです。

人々が経験を共有してくれるとありがたいです。

投稿者 /u/d_edge_sword
[リンク] [コメント]