このアイデアは新規ですか？研究アイデアの判断の自動ベンチマーク

要旨：研究アイデアの新規性を判断することは、科学の進歩を促進し、未開拓の方向性を特定可能にし、既存の知識を意味のある形で拡張する貢献を確実にするために極めて重要です。しかし、科学文献の指数関数的な成長を考えると、研究アイデアの新規性を文献調査を通じて手動で判断することは労働集約的で主観的、かつ大規模には実現不可能です。したがって、近年の取り組みは研究アイデアの新規性判断の自動化アプローチを提唱してきました。しかし、これらのアプローチの評価は一貫性に欠け、標準化されていない人間評価に基づくことが多く、大規模で比較可能な評価を妨げています。これに対処するため、研究アイデアの新規性判断を大規模に評価する初の包括的ベンチマークとしてRINoBenchを導入します。本ベンチマークは、人間の専門家によって導出・評価された1,381の研究アイデアと、ルーブリックベースの新規性スコアと新規性判断のテキスト正当化の両方を評価する9つの自動評価指標から構成されます。このベンチマークを用いて、最先端の大規模言語モデル（LLMs）を研究アイデアの新規性判断能力の観点で評価しました。我々の知見は、LLMが生成する推論が人間の合理的根拠と密接に一致している一方で、この一致が正確な新規性判断へ信頼性高く翻訳されるわけではなく、人間のゴールドスタンダード判断と大きく乖離することを示しています。データとコードは以下で公開されています：https://github.com/TimSchopf/RINoBench。