連続的な構造探索と係数最適化による記号回帰のためのニューラル構造埋め込み

Abstract

因果ではなく記号回帰（symbolic regression）は、観測データを説明する人間が解釈可能な方程式を発見することを目指します。しかし、既存の手法は離散的な構造探索（例：遺伝的プログラミング）に大きく依存しているため、しばしば計算コストが高くなり、性能が不安定になり、さらに大規模な方程式空間へのスケーラビリティが限られます。これらの課題に対処するため、我々はSRCO（Symbolic Regression with Continuous Optimization）を提案します。SRCOは、記号構造を連続的で最適化可能な表現空間へと変換する、埋め込み駆動型の統一フレームワークです。本フレームワークは3つの主要コンポーネントから構成されます： (1) 構造埋め込み：まず、従来の記号回帰アルゴリズムを用いて探索的な方程式の大規模プールを生成し、Transformerモデルを学習させることで、記号構造を連続的な埋め込み空間へ圧縮します； (2) 連続構造探索：この埋め込み空間により、勾配ベースまたはサンプリングベースの最適化を用いた効率的な探索が可能となり、組合せ的な構造空間をナビゲートするコストを大幅に削減します；そして (3) 係数最適化：発見された各構造に対して、記号係数を学習可能なパラメータとして扱い、勾配最適化を適用することで正確な数値を得ます。合成データセットおよび実データセットに関する実験により、本アプローチは、方程式の精度、頑健性、探索効率のいずれにおいても、最先端の手法を一貫して上回ることが示されました。本研究は、連続的な埋め込み学習と最適化を通じて記号方程式の発見を橋渡しすることにより、記号回帰に新しいパラダイムを導入するものです。