OccuBench：言語ワールドモデルを介して現実の専門職タスクでAIエージェントを評価する

要旨: AIエージェントは、数百の職業領域にわたって専門的な業務を遂行することが期待されています（救急外来のトリアージから原子炉の安全監視、税関での輸入手続きの処理まで）。しかし、既存のベンチマークでは、公的な環境が存在するごく少数の領域でしかエージェントを評価できません。私たちは、言語ワールドモデル（LWM）によって実現される、OccuBenchというベンチマークを導入します。これは、LLM駆動のツール応答生成により領域固有の環境をシミュレートし、10の産業カテゴリと65の専門領域にまたがって、現実の専門タスクシナリオ100件をカバーします。複数エージェントによる合成パイプラインが、解けることが保証された評価インスタンスを自動生成し、難易度は調整され、文書に基づく多様性が保証されます。OccuBenchは、2つの補完的な次元に沿ってエージェントを評価します。すなわち、専門領域をまたぐタスク完了と、制御されたフォールト注入下での環境ロバスト性（明示的なエラー、暗黙的なデータ劣化、混合フォールト）です。私たちは、8つのモデルファミリにまたがる15の最先端モデルを評価し、次のことを見出しました。 (1) 単一のモデルがすべての産業を支配するわけではありません。各産業には異なる職務能力プロファイルがあるためです。 (2) 暗黙的フォールト（切り詰められたデータ、欠けたフィールド）は、明示的エラー（タイムアウト、500系）や混合フォールトよりも難しいです。これは、エラーを示す信号が表立っておらず、エージェントがデータ劣化を独自に検知する必要があるためです。 (3) より大きなモデル、新しい世代、そして高い推論努力はいずれも、パフォーマンスを一貫して改善します。GPT-5.2は、最小の推論努力から最大の推論努力へ移行することで27.5ポイント向上します。 (4) 強力なエージェントが、必ずしも強力な環境シミュレータであるとは限りません。LWMベースの評価の信頼性には、シミュレータ品質が重要です。OccuBenchは、専門職業タスクにおけるAIエージェントの産業横断に関する最初の体系的評価を提供します。