チェーン・オブ・ソート特徴変換のデモンストレーション最適化の進化

要旨: 特徴変換（FT）は、下流の予測性能を向上させるために特徴空間の品質を改善する、データ中心AIの中核的タスクです。しかし、効果的な変換を見つけることは、特徴演算子の組み合わせの広い空間のため依然として難しいです。既存の解法は離散探索または潜在生成に依存しますが、サンプルの非効率性、無効な候補、カバレッジが限られた冗長な生成により頻繁に制約を受けます。大規模言語モデル（LLMs）は、有効な変換を生み出すための強力な事前知識を提供しますが、現在のLLMベースのFT手法は通常、静的なデモンストレーションに依存するため、多様性が限られ、冗長な出力が生じ、下流の目的との整合性が弱くなります。我々は、閉ループで軌跡レベルの経験を進化させることによって、LLM駆動のFTのための文脈データを最適化するフレームワークを提案します。高性能な特徴変換シーケンスを強化学習によって探索することから出発し、下流タスクで検証済みの変換軌跡の経験ライブラリを構築・継続的に更新し、多様性を意識したセレクタを用いて文脈を形成し、思考の連鎖（チェーン・オブ・ソート）を通じて変換後の特徴生成をより高い性能へと導きます。多様な表形式ベンチマークでの実験は、私たちの手法が古典的およびLLMベースのベースラインを上回り、一発生成よりも安定していることを示しています。フレームワークはAPIベースおよびオープンソースのLLMsの双方に一般化され、下流の評価者の異なる設定にも頑健です。