AutoTool: 分離型エントロピー制約による強化学習におけるツール使用能力の自動スケーリング

概要：ツールの使用はAIエージェントにとって重要な能力を表し、最近の進展は、より良い性能を達成するために、推論プロセスを明示的に拡張するために強化学習（RL）を活用することに焦点を当てている。しかし、現在のRLベースのスケーリング手法におけるツールの使用にはいくつかの重要な課題がある：(a) 直接的なRL訓練は、複雑な問題を解くのに十分な推論の長さをスケールアップするのにしばしば苦労する、(b) 拡張されたモデルはより単純な問題を過剰に推論してしまい、トークンの非効率性を生じさせる。これらの課題に対処するため、まず単純な問題と複雑な問題を区別できるよう支援するウォームアップの教師付きファインチューニングを用い、その後、モデルが適切な推論経路を自動的に決定できるようにするRLを適用する。さらに、自動的な思考長さのスケーリングの問題に取り組むため、エントロピーに基づく最適化目的が、モデルの多様性を効果的に維持しつつ、モデルのスケーリング能力をうまく解き放つことを発見した。これに基づき、エントロピーに基づく長短期推論融合RL戦略を導入する。我々の3つのベンチマークでの実験は、モデルが効率的なツール使用の自動スケーリングを成功裏に達成し、9.8％の精度向上を達成しつつ、計算オーバーヘッドを約81％低減することを示している。