「MLカンファレンスはくじ引きみたいなものだ」という主張を、いろいろ理解しようと試みてきましたが、正直なところ、何を意味するかによって「当たっている面もあるし、当たっていない面もある」と思います。
論文が明らかに強い、つまり本当にしっかりした貢献で、うまく実装されていて、理解しやすいなら、だいたい採択されます。逆に明らかに弱いなら、だいたいふるい落とされます。人々が奇妙だと文句を言うのは、主に論文が良いのに決定的ではないという、巨大な中間帯にあるのです。
そこでもスケールが効き始めます。投稿数がとにかく多くなったため、査読者は手薄になり、マッチングも完璧ではなく、みんな少しずつ異なる基準や好みを持っています。さらに厳しい締切と限られた往復（やり取り）を加えると、些細なことがとても重要になってきます。査読者が本当にあなたの貢献を「理解できるか」、どれくらい明確にそれを提示できているか、あるいは単に、その特定の査読者グループにどう受け取られるか——こうした要素で結果が大きく左右され得ます。
だからこそ、ランダムに感じるのだと思います。システム全体が壊れているからではなく、論文の大部分がちょうど判断の境界線のすぐそばに位置していて、そこでの判断は自然にばらつき（分散）が大きくなるからです。
強い研究グループ出身の人は、これをあまり経験しないことが多いです。より正確には、彼らはその「境界線上」のゾーンから自分たちの論文を押し出すのがうまい、ということです。文章がより洗練されていて、立ち位置（ポジショニング）がより強く、実行もより予測可能。結果として、彼らの仕事のより大きな割合が明確にその基準を上回ります。
つまり私の現在の見立てはこうです。全体としてはくじ引きではありませんが、少なくとも締切（カットオフ）の近くでは確実にくじ引きのように振る舞い、そしてそのあたりが、ほとんどの不満の原因になっています。
[link] [comments]
