SimulCost：LLMで物理シミュレーションを自動化するためのコスト重視ベンチマークとツールキット

Abstract

科学タスクに対するLLMエージェントの評価は、シミュレーション時間や実験リソースといったツール使用コストを無視し、トークンコストに焦点を当ててきました。その結果、pass@k のような指標は、現実的な予算制約の下では実用的でなくなります。このギャップに対処するために、物理シミュレーションにおけるコストに敏感なパラメータチューニングを対象とした最初のベンチマークである SimulCost を導入します。SimulCost は、LLM によるコストに敏感なパラメータ調整と、従来のスキャン（全探索的探索）アプローチを、精度と計算コストの両面で比較します。対象は、流体力学、固体力学、プラズマ物理の 12 のシミュレータにまたがり、2,916 件の単一ラウンド（初期推定）タスクおよび 1,900 件のマルチラウンド（試行錯誤による調整）タスクです。各シミュレータのコストは解析的に定義され、プラットフォーム非依存です。最前線の LLM は単一ラウンドモードで 46--64% の成功率を達成しますが、高精度要件の下では 35--54% まで低下し、特に高精度タスクでは初期推定が信頼できないことを示します。マルチラウンドモードは成功率を 71--80% に改善しますが、LLM は従来のスキャンより 1.5--2.5 倍遅く、費用対効果の面で非経済的な選択になります。さらに、知識伝達の可能性に関するパラメータ群間の相関、インコンテキスト例および推論に要する労力の影響を調査し、導入や微調整に関する実務的な示唆を提供します。私たちは、物理シミュレーションのためのコストを意識したエージェント設計の改善に関する研究を促進し、新たなシミュレーション環境の拡張を支援するために、静的ベンチマークおよび拡張可能なツールキットとして SimulCost をオープンソースで公開します。コードとデータは https://github.com/Rose-STL-Lab/SimulCost-Bench で利用可能です。