自己進化を学ぶ

Abstract

私たちは Learning to Self-Evolve (LSE) を導入します。これは大規模言語モデル（LLM）をテスト時に自身の文脈を改善するよう訓練する強化学習フレームワークです。私たちは LSE をテスト時自己進化の設定に位置づけ、モデルが見た問題からのフィードバックを元に文脈を反復的に洗練させ、新しい問題に対してより良く機能するようにします。既存のアプローチはモデルの固有の推論能力のみに依存し、このタスクのために明示的に訓練することはありません。LSE は多段階の進化問題を単一の RL 目的へ還元し、各文脈編集は下流の性能の改善によって報酬を得ます。この目的をツリーガイド付きの進化ループと組み合わせます。Text-to-SQL 生成（BIRD）および一般的な質問応答（MMLU-Redux）では、LSE で訓練された 4B パラメータのモデルが、GPT-5 および Claude Sonnet 4.5 による自己進化ポリシー、GEPA および TextGrad を含むプロンプト最適化手法を上回り、追加の訓練なしで他のモデルを導くための転移を可能にします。私たちの結果は、自己進化を学習可能なスキルとして扱うことの有効性を強調します。