論文を読み、コードを書く：社会科学研究結果のエージェント的再現

要旨: 近年の研究では、LLMエージェントを用いて、データとコードの両方にアクセスできる状況で経験的な社会科学の結果を再現する試みが行われてきました。私たちはこの範囲を広げ、次の問いを立てます。つまり、論文の方法の記述と元データのみが与えられた場合、彼らは結果を再現できるのでしょうか。私たちは、論文から構造化された方法記述を抽出し、厳密な情報分離のもとで再実装を実行するエージェント型の再現システムを開発します――エージェントは、元のコード、結果、または論文を一切参照できません。そして、再現された出力を元の結果と対して、決定論的にセル単位で比較できるようにします。エラー帰属（アトリビューション）の手順では、不一致をシステムのチェーンを通じて追跡し、根本原因を特定します。人手で再現可能性を検証した48本の論文に対して、4種類のエージェント・スキャフォールドと4種類のLLMを評価した結果、エージェントは概ね公表された結果を回復できることが分かりましたが、性能はモデル、スキャフォールド、論文間で大きく異なりました。根本原因分析では、失敗の原因がエージェントの誤りだけでなく、論文それ自体における記述不足（アンダースペシフィケーション）にも起因していることが明らかになりました。