EvoForest：計算グラフの開放的な進化による新しい機械学習パラダイム

要旨: 現代の機械学習は、依然として主に単一のレシピに基づいて組織化されています。すなわち、パラメータ化されたモデル族を選び、その重みを最適化する、というものです。非常に成功しているものの、このパラダイムは、多くの構造化予測問題に対しては狭すぎます。そこでは主要なボトルネックは、パラメータの適合ではなく、データから何を計算すべきかを発見することにあります。成功は、多くの場合、適切な変換、統計量、不変性、相互作用構造、時間的要約、ゲート、または非線形な合成を特定することに依存します。特に、目的関数が微分不可能である場合、評価が交差検証ベースである場合、解釈可能性が重要な場合、あるいは継続的な適応が必要な場合には、その傾向が強まります。本研究では、計算のためのエンドツーエンドな開放的（open-ended）進化を実現する、ハイブリッドなニューラル・シンボリックシステムであるEvoForestを提示します。単に特徴量を生成するのではなく、EvoForestは、共有された有向非巡回グラフ（DAG）の内部で、再利用可能な計算構造、呼び出し可能な関数族、および学習可能な低次元の連続成分を、共同で進化させます。中間ノードには代替実装が保存され、呼び出し可能ノードは射影、ゲート、活性化といった再利用可能な変換ファミリをエンコードし、出力ノードは候補となる予測計算を定義します。さらに、永続的なグローバルパラメータは勾配降下によって洗練できます。各グラフ構成に対して、EvoForestは発見された計算を評価し、軽量なRidgeベースのreadoutを用いて、非微分の交差検証ターゲットに対する表現のスコアを算出します。評価器はまた、将来のLLM駆動の突然変異を導く構造化されたフィードバックも生成します。2025年のADIA Lab Structural Break Challengeにおいて、EvoForestは600回の進化ステップの後に94.13%のROC-AUCを達成し、同一の評価プロトコルの下で公表されている勝者スコアである90.14%を上回りました。