AEC-Bench: A Multimodal Benchmark for Agentic Systems in Architecture, Engineering, and Construction

arXiv cs.AI / 4/1/2026

📰 NewsSignals & Early TrendsTools & Practical UsageModels & Research

共有:

Key Points

AEC-Benchを、建築・エンジニアリング・建設（AEC）領域の実世界タスク向けに設計したマルチモーダルなベンチマークとして提案しています。
図面理解、複数シート間の推論、建設プロジェクト全体の調整といった「エージェント的」能力を評価するタスク群を定義しています。
データセットの分類体系、評価プロトコル、そして複数のドメイン特化ファウンデーションモデル環境（harness）でのベースライン結果を報告しています。
AEC-Benchの分析により、Claude CodeやCodexのようなベースハーネス内で一貫して性能を押し上げるツール設計・ハーネス設計の手法を特定したとしています。
ベンチマークのデータセット、エージェント用ハーネス、評価コードをApache 2ライセンスで公開し、再現可能性を高めています。

Abstract

The AEC-Bench is a multimodal benchmark for evaluating agentic systems on real-world tasks in the Architecture, Engineering, and Construction (AEC) domain. The benchmark covers tasks requiring drawing understanding, cross-sheet reasoning, and construction project-level coordination. This report describes the benchmark motivation, dataset taxonomy, evaluation protocol, and baseline results across several domain-specific foundation model harnesses. We use AEC-Bench to identify consistent tools and harness design techniques that uniformly improve performance across foundation models in their own base harnesses, such as Claude Code and Codex. We openly release our benchmark dataset, agent harness, and evaluation code for full replicability at https://github.com/nomic-ai/aec-bench under an Apache 2 license.