ClawsBench：シミュレートされた作業環境におけるLLMプロダクティビティエージェントの能力と安全性の評価

要旨: 大規模言語モデル（LLM）エージェントは、（電子メール、スケジューリング、文書管理などの）生産性タスクの自動化のためにますます広く導入されていますが、ライブサービス上でそれらを評価することは、潜在的に不可逆な変更が起こり得るため危険です。既存のベンチマークは単純化された環境に依存しており、現実的な、状態を持つマルチサービスのワークフローを捉えられていません。私たちは、現実的な生産性シナリオにおいてLLMエージェントを評価し改善するためのベンチマークであるClawsBenchを導入します。これは、高忠実度のモックサービス5つ（Gmail、Slack、Google Calendar、Google Docs、Google Drive）を含み、完全な状態管理と決定論的なスナップショット／復元を備えています。さらに、単一サービス、クロスサービス、安全性が重要なシナリオを含む44の構造化タスクを提供します。私たちは、エージェントの足場（スキャフォールディング）を、2つの独立したレバー（段階的な開示によってAPI知識を注入するドメインスキル、そしてサービス間でふるまいを調整するメタプロンプト）に分解し、両方を変化させてそれぞれの効果と組み合わせの効果を測定します。6つのモデル、4つのエージェント・ハーネス、33の条件にわたる実験の結果、完全な足場を用いるとエージェントはタスク成功率39-64%を達成する一方で、危険なアクション率は7-33%であることが分かりました。OpenClawでは、上位5モデルはタスク成功において10パーセントポイント幅（53-63%）の範囲に収まり、危険なアクション率は7%から23%ですが、2つの指標の間に一貫した順位付けは見られません。私たちは、複数ステップのサンドボックス昇格や、沈黙した契約（コンテラクト）の変更を含む、危険なふるまいの再発パターンを8つ特定します。