IslamicMMLU：イスラム知識に基づくLLM評価のためのベンチマーク

要旨: 大規模言語モデルはイスラム知識についてますます相談されている一方で、主要なイスラム諸分野にわたる性能を包括的に評価するベンチマークは存在しません。我々は、3つのトラック（Quran（2,013問）、Hadith（4,000問）、Fiqh（法学、4,000問））にまたがる10,013問の多肢選択問題からなるベンチマークであるIslamicMMLUを導入します。各トラックは、イスラム知識のさまざまな側面を扱うLLMの能力を検討するために複数の種類の問題で構成されています。このベンチマークは、LLMを評価するためのIslamicMMLU公開リーダーボードを作成するのに用いられ、初期評価として26のLLMを評価しました。3つのトラックにわたるそれらの平均正答率は、Gemini 3 Flashによると39.8\%から93.8\%の範囲でした。Quranトラックは最も幅広い範囲（99.3\%から32.4\%）を示し、一方でFiqhトラックには、新規のマドハブ（イスラム法学の学派）バイアス検出タスクが含まれており、モデル間で思考様式（学派）の嗜好が異なることが明らかになります。アラビア語特化モデルは混在した結果を示しますが、いずれもフロンティアモデルより低い性能でした。評価コードとリーダーボードは公に利用可能にします。