ENC-Bench：電子航法チャート理解におけるマルチモーダル大規模言語モデルを評価するためのベンチマーク

概要: 電子海図（ENCs）は、現代の海上航行における安全性を左右する中核（安全に直結する基盤）ですが、多モーダル大規模言語モデル（MLLMs）がそれらを確実に解釈できるかどうかは、いまだ明らかではありません。自然画像や従来型の地図とは異なり、ENCは標準化されたベクター記号、スケール依存の描画、そして正確な幾何学的構造によって、規則、水深、航路制約を符号化しています——解釈には専門的な海事知識が必要です。私たちは、プロのENC理解に特化した初めてのベンチマークであるENC-Benchを提案します。ENC-Benchには、米国海洋大気庁（NOAA）の真正のENC（840件）から作成された、専門家による検証済みの20,490サンプルが含まれており、3段階の階層に整理されています。すなわち、知覚（記号・特徴の認識）、空間推論（座標の特定、方位、距離）、および海事における意思決定（航路の合法性、安全性評価、複数の制約下での緊急時計画）です。すべてのサンプルは、生のS-57データから、校正済みのベクターから画像へのパイプラインによって生成され、自動の整合性チェックと専門家レビューを経ています。GPT-4o、Gemini 2.5、Qwen3-VL、InternVL-3、GLM-4.5Vなどの10の最先端MLLMについて、統一されたゼロショット手順のもとで評価します。最良のモデルでも精度は47.88%にとどまり、記号の接地（symbolic grounding）、空間計算、複数制約に基づく推論、さらに照明条件やスケールの変動に対する頑健性において体系的な課題が見られます。最初の厳密なENCベンチマークを確立することで、専門的な記号推論と安全性に直結するAIの交差点における新たな研究フロンティアを切り開き、MLLMをプロの海事アプリケーションへと前進させるための重要な基盤を提供します。