RESCORE: LLM-Driven Simulation Recovery in Control Systems Research Papers

arXiv cs.AI / 4/7/2026

💬 OpinionSignals & Early TrendsIdeas & Deep AnalysisTools & Practical UsageModels & Research

Key Points

  • 記載された制御システム研究論文から数値シミュレーションを復元する際、パラメータ不足や実装の曖昧さで再現性が損なわれる問題を「Paper to Simulation Recoverability」として定義しました。
  • 500本のIEEE CDC論文を対象にしたベンチマークを用意し、Analyzer/Coder/Verifierの3構成からなるLLMエージェントフレームワークRESCOREを提案しています。
  • RESCOREは反復実行フィードバックと可視的比較を通じてコード復元の忠実度を高め、単発生成よりも高い再現率を達成しました。
  • 40.7%のベンチマークでタスク整合的なシミュレーション復元に成功し、手作業による再現と比べて約10倍のスピードアップ(検証時間・労力の大幅削減)が見込まれると報告しています。
  • ベンチマークとエージェントを公開する予定で、論文の自動再現をコミュニティで進めることを狙っています。

Abstract

Reconstructing numerical simulations from control systems research papers is often hindered by underspecified parameters and ambiguous implementation details. We define the task of Paper to Simulation Recoverability, the ability of an automated system to generate executable code that faithfully reproduces a paper's results. We curate a benchmark of 500 papers from the IEEE Conference on Decision and Control (CDC) and propose RESCORE, a three component LLM agentic framework, Analyzer, Coder, and Verifier. RESCORE uses iterative execution feedback and visual comparison to improve reconstruction fidelity. Our method successfully recovers task coherent simulations for 40.7% of benchmark instances, outperforming single pass generation. Notably, the RESCORE automated pipeline achieves an estimated 10X speedup over manual human replication, drastically cutting the time and effort required to verify published control methodologies. We will release our benchmark and agents to foster community progress in automated research replication.