CliffSearch：理論とコードにまたがるための、理論的・コード的共進化による構造化エージェント手法による科学アルゴリズム発見

arXiv cs.LG / 2026/4/2

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

CliffSearchは、各候補を「理論＋コード」または「コードのみ」という構造化アーティファクトとして扱う、科学アルゴリズム発見のためのエージェント的進化フレームワークを提案する。
主要な進化操作（ペア選択、交叉、突然変異、レビュー）をLLMエージェントとして実装し、正しさと独創性に関する査読者の判断を、第一級の選択ゲートとして機能させる。
フレームワークは突然変異を「探索」（隣接領域のアイデアによる新規性）と「修正」（理論、コード、ベンチマーク結果、実行時エラーからの査読者シグナルを用いたエビデンス駆動の修復）に分ける。
3つのベンチマークに基づく研究（トランスフォーマーのハイパーコネクション進化、固定ナノGPTスタック上での最適化器発見、ネイティブ最適化器のアブレーション）に対する実験により、このループがベンチマーク指標を最適化しつつ、解釈可能性と正しさを重視できることが示される。
著者らは、完全な実行アーティファクト、対話的な可視化、およびエクスポートした最良ノードを提供し、再現性と、探索条件間での制御された比較を支える。

Abstract

科学アルゴリズムの発見は反復的です。仮説を提案し、実装し、ストレステストし、そして改訂します。現在のLLM誘導型探索システムは提案生成を加速しますが、多くの場合、コードのみの成果物を弱い正しさ／独創性のゲーティングで最適化することで、科学的構造を十分に表現できていません。私たちはCliffSearchを提示します。これは、進化の中核となる演算子（ペア選択、交叉、突然変異、レビュー）をLLMエージェントとして実装し、ループを3つの原則に基づいて設計したエージェント型進化フレームワークです。(1) 各ノードは構造化された科学的成果物であり、理論＋コードモードまたはコードのみモードのいずれかとして具体化される。(2) 正しさと独創性に関する査読者の判断を、関心のあるベンチマーク指標の最適化と並ぶ、第一級の選択ゲートとして扱う。(3) 突然変異を探索経路と修正経路に分割し、それぞれ異なる目的を持たせる。探索の突然変異は、隣接する科学領域からのアイデアを取り込むことで新規性を高めます。一方、修正の突然変異は、理論、コード、ベンチマーク結果、実行時エラーに対する査読者の信号を用いた、証拠に基づく対象的な修復を行います。私たちは、このフレームワークを3つのベンチマークに基づく研究で示します。すなわち、トランスフォーマーのハイパー接続の進化、固定されたnanoGPTスタック上での最適化器の発見、そしてより小規模なネイティブ最適化器のアブレーションです。これらの設定では、同一のループが明示的な指標の方向付け、再現可能な永続化、そして制御された探索条件下での発見の査読者ゲート付き比較を支えます。結果として得られるのは、候補のスループットを最大化することだけにとどまらず、制御された新規性の制約のもとでタスク指標を最適化しつつ、科学的な解釈可能性と正しさを優先する発見ワークフローです。完全な実行成果物、インタラクティブな可視化、ならびに報告された研究における最良ノードのエクスポートは、https://cliffsearch.ai で利用できます。