リウマチ学領域の観察研究における STROBE チェックリストの評価に関する大型言語モデル・人間レビュアー・著者間の合意

要旨: はじめに: 観察疫学研究の報告を強化する STROBE 宣言（STROBE）の適合性を評価することは、時間がかかり主観的になることがあります。この研究は、観察的リウマチ学研究における STROBE の評価を、大規模言語モデル（LLMs）、人間レビューパネル、および元の原稿著者によって比較します。
方法: GRRAS および DEAL Pathway B フレームワークに基づき、17 編のリウマチ学論文を独立して評価しました。評価には22項目の STROBE チェックリストを使用し、著者自身が完成させたもの、5名の人間パネル（ジュニアからシニアの専門家まで）、および2つのLLM（ChatGPT-5.2、Gemini-3Pro）が関与しました。項目は、方法論的厳密さと提示・文脈のドメインに分類されました。評者間信頼性は、Gwetの一致係数（AC1）を用いて算出されました。
結果: 全評価者間の総合一致は85.0％（AC1=0.826）でした。領域別層別化では、提示と文脈についてはほぼ完璧な一致（AC1=0.841）、方法論的厳密さについては実質的な一致（AC1=0.803）を示しました。LLMは標準的な書式要素については全ての人間評価者と完全一致（AC1=1.000）を達成したものの、複雑な項目では人間評価者および著者との一致は低下しました。例えば、追跡喪失に関する項目では、Gemini 3 Proと上級レビュアーの一致はAC1=-0.252、著者との一致は適度な程度でした。さらに、ChatGPT-5.2は特定の方法論的項目でGemini-3Proよりも人間の評価者との一致が高いことを一般的に示しました。
結論: 基本的な STROBE スクリーニングには LLMS の可能性を示す一方、複雑な方法論的項目で人間の専門家と一致する度合いが低いのは、表層情報に依存していることを反映している可能性が高いです。現在、これらのモデルは、観察研究を評価する際に専門家の判断を置き換えるよりも、単純なチェックを標準化する方が信頼性が高いように見えます。