CRISP：学術出版物の相対的インパクトを特徴づける

Abstract

引用された論文の影響度を評価することは通常、引用する論文の中での引用文脈を、それ自体の範囲内で解析することで行われます。これにより最も直接的に関連するテキストに焦点を当てられる一方で、ある論文が引用している全ての文献にまたがる相対的な比較が妨げられます。私たちは、その代わりに大規模言語モデル（LLMs）を用いて、引用する論文の中で言及されている全ての引用論文を共同で順位付けするCRISPを提案します。LLMの位置バイアスを軽減するために、各リストをランダムな順序で3回ずつ並び替えた上で順位付けし、多数決によって影響ラベルを集約します。この共同アプローチは、引用を独立に評価するのではなく、引用文脈全体を活用することで、影響のある参照をより確実に識別することを可能にします。CRISPは、人手で注釈された引用からなるデータセットにおいて、従来の最先端の影響度分類器に対して精度で+9.5%、F1で+8.3%上回ります。CRISPはさらに、LLM呼び出し回数を減らすことで効率性も向上し、オープンソースのモデルとも競争力のある性能を示します。これにより、大規模でコスト効率の高い引用の影響度分析が可能になります。私たちは、今後の研究を支えるために、順位付け結果、影響ラベル、コードベースを公開します。