EuraGovExam：実世界の文官採用試験に基づく多言語マルチモーダル・ベンチマーク

Abstract

私たちは、5つの代表的なユーラシア地域――韓国、日本、台湾、インド、欧州連合――における実世界の公務員試験から収集した、多言語かつマルチモーダルなベンチマーク「EuraGovExam」を提示します。公共部門における評価の真の複雑さを反映するように設計されたこのデータセットには、17の多様な学術・行政領域をカバーする、8,000件を超える高解像度のスキャン済みマルチクル選択問題が含まれます。既存のベンチマークとは異なり、EuraGovExamは、問題文、選択肢、視覚要素を含むすべての質問内容を単一の画像の中に埋め込み、解答形式のための最小限の標準化された指示のみを提供します。この設計により、モデルは視覚入力からレイアウトを理解した上で、直接かつ多言語間の推論を行う必要があります。すべての項目は実際の試験書類から作成されており、表、複数言語のタイポグラフィ、フォームのようなレイアウトといった豊かな視覚構造が保持されています。評価結果では、最先端の視覚言語モデル（VLM）でさえ正答率は86%にとどまっており、ベンチマークの難しさと、現在のモデルの限界を診断する力が強調されています。文化的な現実味、視覚的な複雑さ、そして言語的多様性を重視することで、EuraGovExamは、ハイステークスで多言語かつ画像に根ざした状況においてVLMを評価する新たな標準を確立します。また、e-governance（電子政府）における実用的な応用、公的部門の文書分析、そして公平な試験準備も支援します。