SkillForge：クラウド技術サポートにおけるドメイン特化型、自律的に進化するエージェントスキルを鍛え上げる

概要: クラウドの技術サポートのような企業向けシナリオでLLM搭載エージェントを展開するには、高品質でドメインに特化したスキルが必要です。しかし、既存のスキル作成者はドメインの裏付け（グラウンディング）を欠いているため、実世界のタスク要件に十分に整合しないスキルが生成されてしまいます。さらに、一度展開されると、実行失敗をスキルの欠陥へ系統立てて追跡し、狙いを定めた改良へつなげるための体系的な仕組みがありません。その結果、運用上の証拠が蓄積されてもスキル品質が停滞したままになります。私たちは、作成・評価・改良のエンドツーエンドのループを閉じる自己進化型フレームワークであるSkillForgeを提案します。初期のスキルを十分に整合させるために、ドメイン文脈化スキル作成者（Domain-Contextualized Skill Creator）を用い、スキル合成を知識ベースおよび過去のサポートチケットに基づけます。継続的な自己最適化を可能にするために、三段階のパイプライン――失敗アナライザ（Failure Analyzer）、スキル診断者（Skill Diagnostician）、スキル最適化者（Skill Optimizer）――により、実行失敗をバッチ処理で自動的に診断し、根本的なスキルの欠陥を特定し、それらを取り除くようにスキルを書き換えます。このサイクルは反復的に実行され、展開フィードバックの各ラウンドごとにスキルが自己改善できるようになります。1,883件のチケットと3,737件のタスクを含む5つの実世界のクラウドサポートシナリオで評価したところ、実験により次のことが示されました：(1) ドメイン文脈化スキル作成者は、過去チケットに基づく専門家が作成した参照回答との整合性（consistency）という指標で測定すると、汎用のスキル作成者よりも大幅に優れた初期スキルを生成すること、そして (2) 自己進化ループは、専門家が作成したスキル、ドメインで作成したスキル、汎用スキルといった多様な出発点からでも、連続するラウンドを通じてスキル品質を段階的に向上させることです。これは、自動進化が手作業でキュレーションされた専門家知識を上回り得ることを示しています。