Skills-Coach：学習不要のGRPOによる自己進化型スキル最適化フレームワーク

Abstract

大規模言語モデル（LLM）ベースのエージェントにおけるスキルの自己進化を大幅に強化することを目的とした、新しい自動化フレームワーク「Skills-Coach」を提案します。スキル・エコシステムが現在抱えている断片化の問題に対処しつつ、Skills-Coachはスキル能力の境界を探究し、それによって知的アプリケーションに不可欠な包括的なコンピタンスのカバレッジを実現します。このフレームワークは4つの中核モジュールから構成されます。すなわち、さまざまなスキルに対する包括的なテストスイートを体系的に作成する「多様なタスク生成モジュール」、スキルプロンプトおよびそれに対応するコードを最適化することに特化した「軽量最適化モジュール」、元のスキルと最適化後のスキルの両方を実行し評価するための「比較実行モジュール」、および指定された基準に照らして性能を厳密に評価する「トレーサブル（追跡可能な）評価モジュール」です。Skills-Coachは、仮想モードと実モードの2つの実行オプションを柔軟に提供します。その有効性を検証するために、48の多様なスキルから成る包括的なベンチマークデータセット「Skill-X」を導入します。実験結果により、Skills-Coachは幅広いカテゴリにおいてスキル能力に関する顕著な性能向上を達成することが示され、その堅牢で適応力の高いLLMベースのエージェントの開発を前進させる可能性が強調されています。