非英語論文は公正に査読されているのか？ NLP査読における研究言語（LoS）バイアス

概要: 査読はNLPの出版プロセスにおいて中心的な役割を果たしますが、さまざまなバイアス（偏り）の影響を受けやすいです。ここでは、研究対象言語（Language-of-study: LoS）バイアスを研究します。これは、査読者が、その論文の科学的価値ではなく、当該論文が研究している言語（複数の場合も含む）に基づいて論文を評価する傾向です。査読ガイドラインではそのようなバイアスが明示的に注意喚起されているにもかかわらず、その実態は十分に理解されていません。先行研究では、こうしたコメントを、より広い分類である弱い／建設的でない査読の一部として扱い、これを独立したバイアスの形として定義していません。本研究では、LoSバイアスを初めて体系的に特徴づけ、負の形と正の形を区別し、人手によるアノテーションを施したデータセットLOBSTER（Language-Of-study Bias in ScienTific pEer Review）と、検出のために87.37のマクロF1を達成する手法を導入します。私たちは15,645件の査読を分析して、LoSに関して負のバイアスと正のバイアスがどのように異なるかを推定し、その結果、英語のみを対象とする論文よりも非英語の論文の方が、バイアスの発生率が大幅に高いこと、そして負のバイアスが一貫して正のバイアスを上回ることを見出します。最後に、負のバイアスの4つのサブカテゴリを特定し、最も支配的な形は、根拠のないクロスリンガルな一般化（異言語間の一般化）を要求することだとわかりました。私たちは、NLPおよびそれを超えた領域におけるより公正な査読実践のための取り組みを支援するために、すべてのリソースを公開します。