評価駆動型スケーリングによる科学的発見

要旨: 言語モデルは、科学的発見において仮説を生成し、候補となる解決策を提案し、システムを実装し、そしてそれらを反復的に洗練するために、ますます用いられるようになってきています。こうした試行錯誤のループの中核にあるのが評価です。すなわち、検証器、シミュレータ、あるいはタスク固有のスコア関数を通じて、候補となる解決策に対するフィードバックを得る過程です。先行研究は評価の重要性を強調してきたものの、評価駆動型の発見ループを、科学的発見の限界を押し広げるために、原理的かつ効果的な方法でどのようにスケールさせられるのか、という問題は明示的には定式化されていません。本論文はこの課題に取り組みます。私たちは、単純なテスト時評価駆動スケーリング（SimpleTES）を導入します。これは、並列探索、フィードバック駆動の洗練、局所選択を戦略的に組み合わせる一般的な枠組みであり、適切な次元に沿って評価駆動型の発見ループをスケールすることで解放される大きな利得を示します。6つの領域にまたがる21の科学問題において、SimpleTESはgpt-ossモデルを用いて最先端の解を発見し、フロンティアモデルのベースラインと洗練された最適化パイプラインの両方を一貫して上回ります。特に、広く使われているLASSOアルゴリズムを2倍超に高速化し、ゲートオーバーヘッドを24.5%削減する量子回路ルーティング方策を設計し、これまでで最良とされてきた結果を上回る新しいErdosの最小重なり構成を発見しました。新しい発見に加えて、SimpleTESは軌跡レベルの履歴を生成し、これはフィードバック駆動型の学習を自然に教師付けします。成功した軌跡で事後学習すると、モデルは見えている問題の効率を改善するだけでなく、見えていない問題にも一般化し、基礎モデルが見出せない解を発見します。以上より、私たちの結果は、LLM駆動の科学的発見を前進させるための中心的な軸として、効果的な評価駆動ループのスケーリングを確立し、この利得を実現するためのシンプルで実用的な枠組みを提供します。