ML-Agent：自律的な機械学習エンジニアリングのためのLLMエージェント強化（強化学習ベース）

概要：大規模言語モデル（LLM）ベースのエージェントの登場により、自律的な機械学習（ML）エンジニアリングの発展は大きく進みました。しかし、支配的なプロンプトベースのパラダイムには限界があります。小規模モデルは汎化のために実行軌跡から学習する能力を欠いている一方で、大規模なプロプライエタリ（独自）モデルは高い計算オーバーヘッドを伴い、利用可能性やスケーラビリティを制約します。そこで本研究では、これまでにない形で、学習ベースのエージェント型MLというパラダイムを初めて探究します。ここでは、LLMエージェントがオンライン強化学習（RL）を用いたMLタスク上の対話的な実験を通じて学習します。これを実現するために、3つの主要コンポーネントから成る新しいエージェント型MLトレーニング・フレームワークを提案します。（1）探索を強化したファインチューニング：強化学習（RL）の探索を強化するために、LLMエージェントが多様な行動を生成できるようにします。（2）ステップごとのRL：単一の行動ステップに対する学習を可能にし、経験収集を高速化してトレーニング効率を向上させます。（3）エージェント型ML固有の報酬モジュール：多様なMLフィードバック信号をRL最適化のための一貫した報酬へ統一します。このフレームワークを活用して、自律的MLのための7BサイズのQwen-2.5 LLMにより駆動されるML-Agentを訓練します。9つのMLタスクでのみ学習したにもかかわらず、7BサイズのML-Agentは、（GPT-5などの）よりはるかに大きなプロプライエタリLLMを用いるエージェントと同等の性能を達成します。しかも、計算コストは大幅に低く、強い性能とタスクをまたいだ汎化が示されます。