科学出版エージェントにおけるBibTeX引用のハルシネーション：評価と低減

要旨: ウェブ検索を備えた大規模言語モデルは、科学出版のエージェントでますます利用されているが、それでもなお、領域（フィールド）単位での誤りが広範に混入したBibTeXエントリを生成してしまう。先行評価では、検索なしのベースモデルが試されており、これは現在の実務を反映していない。そこで本研究では、4つの科学分野と3つの引用ティア（人気、低引用、そしてカットオフ後の最近）にわたる931本の論文からなるベンチマークを構築する。これは、同一論文の複数の引用可能バージョンを考慮する版（バージョン）対応の真値に基づき、パラメトリック・メモリと検索依存性を切り分けることを目的とする。検索を可能にした最前線の3つのモデル（GPT-5、Claude Sonnet-4.6、Gemini-3 Flash）は、9つのフィールドと6分類の誤り分類法（エラー・タクソノミー）に基づいてスコア付けされたBibTeXエントリを生成し、約23,000件のフィールド単位の観測データを得る。全体の精度は83.6%であるが、完全に正しいのはエントリ全体のうち50.9%にとどまる。精度は人気の論文から最近の論文へと27.7pp低下し、検索が利用可能であってもパラメトリック・メモリへの強い依存が示される。フィールド誤りの共起分析により、2つの失敗モードが特定される。すなわち、エントリの全面的な置換（同一性フィールドが一緒に失敗する）と、孤立したフィールド誤りである。対策メカニズムとして、Zotero Translation ServerからCrossRefへのフォールバック付きで決定論的にBibTeXを取得するオープンソースツールclibibを評価する。権威ある記録に基づいてベースラインのエントリを訂正する二段階の統合では、精度は+8.0pp増加して91.5%となり、完全に正しいエントリは50.9%から78.3%へと増加し、回帰（regression）率はわずか0.8%である。単一段階と二段階の統合を比較するアブレーションにより、検索と訂正を分離することで、より大きな改善と低い回帰（0.8%対4.8%）が得られることが示され、統合アーキテクチャはモデル能力とは独立して重要であることが分かる。評価と、LLMベースの科学的文章における引用幻覚（citation hallucinations）の緩和を支援するために、ベンチマーク、誤り分類法、ならびにclibibツールを公開する。