SciDesignBench: 科学的逆設計のための言語モデルのベンチマークと改善

概要: 科学と工学の最も重要な問題の多くは逆問題です。望ましい結果が与えられたとき、それを達成する設計を見つけます。候補が仕様を満たすかを評価することはしばしば日常的です。結合エネルギーを計算し、反応収率をシミュレートし、薬物動態プロファイルを予測します。しかし、それらのターゲットを満たす入力の組合せ設計空間を探索することは本質的に難しいです。SciDesignBenchを導入します。これは、14の科学分野と5つの設定にまたがる520のシミュレータ基づくタスクのベンチマークで、単発設計、短期的な視野のフィードバック、長期的な改良、シード設計の最適化を含みます。10ドメインの共通コアサブセットでは、最良のゼロショットモデルの成功率はわずか29.0%にとどまり、パース率は大幅に高いにも関わらずです。シミュレータのフィードバックは役立ちますが、指標は展望によって変わります。1ターンのデノーボ設計ではSonnet 4.5が最も強力であり、20ターンのシミュレータ基づく改良の後にはOpus 4.6が最も強力です。開始シード設計を提供するとリーダーボードは再び入れ替わり、制約された修正は無制約のデノーボ設計とは本質的に異なる能力を必要とすることを示しています。次に、シミュレーターフィードバック訓練レシピであるRLSFを紹介します。RLSFで調整された8Bモデルは、3つのドメインにわたり1ターンの成功率を8〜17パーセンテージポイント向上させます。これらの結果は、シミュレータに基づく逆設計を、科学的推論のベンチマークとしてだけでなく、高価なテスト時の計算をモデル重みに分散する実用的な基盤として位置づけます。