OmniSch：構造化された図形の視覚推論のためのマルチモーダルPCB回路図ベンチマーク

要旨: 最近の大規模マルチモーダルモデル（LMMs）は、視覚的グラウンディング、文書理解、図表推論のタスクにおいて急速な進歩を遂げてきました。しかし、プリント基板（PCB）の回路図（スキーマティック）図から、部品属性、結線、幾何（ジオメトリ）を共同で捉えながら、機械可読な空間的に重み付けられたネットリスト・グラフへ変換する能力は、そのようなグラフ表現が実用的な電子設計自動化（EDA）ワークフローの基盤であるにもかかわらず、ほとんど未開拓のままです。このギャップを埋めるために、私たちは、回路図理解と空間ネットリスト・グラフ構築におけるLMMsを評価することを目的とした最初の包括的ベンチマークであるOmniSchを導入します。OmniSchには、1,854枚の実世界の回路図が含まれており、4つのタスクがあります。（1）回路図上の対象のための視覚的グラウンディングで、109.9K件のグラウンディングされた実例が、図のセマンティック・ラベル423.4K件をそれらの視覚領域に対応付けます。（2）図からグラフへの推論で、図中の要素間の位相（トポロジー）関係を理解します。（3）幾何（ジオメトリ）推論で、各結線に対するレイアウト依存の重みを構築します。（4）（1）〜（3）を達成するために外部ツールを呼び出す、ツール拡張型のエージェント的推論による視覚探索です。私たちの結果は、現在のLMMが回路図工学アーティファクトを解釈するうえで、信頼性の低いきめ細かなグラウンディング、脆弱なレイアウトからグラフへのパース、不整合な大域的な結線（コネクティビティ）推論、非効率な視覚探索など、重大なギャップを示すことを明らかにしました。