HighlightBench: 科学文書におけるマークアップ駆動の表推論をベンチマークする

要旨: ハイライト、下線、太字などの視覚的マークアップは、表中心の文書において一般的です。マルチモーダル大規模言語モデル（MLLMs）は文書理解において大きく進展してきましたが、このような合図を明示的な論理指示として扱う能力は、十分に調査されていません。さらに重要なのは、既存の評価では、モデルがマークアップを見落としたのか、それともそれを用いて推論できなかったのかを区別できないことです。これにより、表に対するマークアップ条件付きのふるまいを評価する際の重要な見落とし（ブラインドスポット）が生じています。このギャップに対処するため、私たちは HighlightBench を導入します。HighlightBench は、マークアップ駆動の表理解のための診断ベンチマークであり、評価を 5 つのタスク系統に分解します。すなわち、Markup Grounding（マークアップの根拠づけ）、Constrained Retrieval（制約付き検索）、Local Relations（局所的関係）、Aggregation & Comparison（集約と比較）、Consistency & Missingness（整合性と欠落）です。加えて、途中の判断を明示化するリファレンス・パイプラインも提供します。これにより、再現可能なベースラインと、知覚から実行までのチェーンに沿った誤りのより細かな帰属が可能になります。実験の結果、構造化された出力制約の下で、視覚的合図をシンボル的推論と一貫して整合させる必要がある場合、たとえ強力なモデルであっても不安定さが残ることが示されました。