Chat2Workflow：自然言語から実行可能なビジュアル・ワークフローを生成するためのベンチマーク

要旨: 現在、実行可能なビジュアルワークフローは、現場の産業導入における主流のパラダイムとして登場しており、高い信頼性と制御可能性を提供しています。しかし、現行の実務では、このようなワークフローはほぼ完全に手作業のエンジニアリングによって構築されています。開発者は、ワークフローを慎重に設計し、各ステップごとのプロンプトを書き、要件が変化するたびにロジックを繰り返し見直さなければなりません。これにより、開発は費用がかかり、時間を要し、かつエラーが起きやすくなります。大規模言語モデルが、この多ラウンドの対話プロセスを自動化できるかを検討するために、自然言語から直接実行可能なビジュアルワークフローを生成するためのベンチマーク「Chat2Workflow」を導入し、反復される実行エラーを軽減する堅牢なエージェント型フレームワークを提案します。Chat2Workflowは、実世界のビジネスワークフローの大規模なコレクションから構築されており、各インスタンスは、生成されたワークフローを変換可能で、そのままDifyやCozeのような実務的なワークフロープラットフォームへ直接展開できるように設計されています。実験結果は、最先端の言語モデルがしばしば高レベルの意図を捉えることができる一方で、特に複雑または変化する要件のもとでは、正しく、安定して、かつ実行可能なワークフローを生成することが難しいことを示しています。エージェント型フレームワークにより最大で5.34%の解決率向上が得られるものの、残る実世界でのギャップにより、Chat2Workflowは産業グレードの自動化を前進させるための基盤として位置付けられます。コードは https://github.com/zjunlp/Chat2Workflow で利用可能です。