QIMMAは、モデルを評価する前にベンチマークを検証し、報告されたスコアがLLMにおけるアラビア語能力を実際に反映していることを保証します。

アラビア語のLLM評価を追跡しているなら、おそらく次のような緊張感に気づいているはずです。つまり、ベンチマークやリーダーボードの数が急速に増えている一方で、私たちは本当に、自分たちが測っていると思っているものを測れているのでしょうか？

私たちは、この問いに体系的に答えるために QIMMA قمّة（アラビア語で「サミット」）を構築しました。既存のアラビア語ベンチマークをそのまま集約してそれらにモデルを適用するのではなく、いかなる評価が行われる前にも、厳密な品質検証パイプラインを 先に適用しました。その結果は衝撃的でした。広く使われ、評価の高いアラビア語ベンチマークでさえ、評価結果を静かに損なってしまう体系的な品質問題を含んでいるのです。

本記事では、QIMMAとは何か、どのように構築したのか、どのような問題が見つかったのか、そしてクリーニング後にモデルのランキングがどう見えるのかを説明します。

---

問題：アラビア語NLP評価は分断され、未検証である

アラビア語は、多様な方言や文化的背景を持つ4億人以上の人々に話されていますが、それにもかかわらず、アラビア語NLPの評価環境は分断されたままです。この取り組みを後押しした主要な課題がいくつかあります：

翻訳の問題。 多くのアラビア語ベンチマークは英語からの翻訳です。これにより分布のズレが生じます。英語では自然に感じる問いでも、アラビア語では不自然だったり文化的に噛み合っていなかったりし、その結果、ベンチマークデータがアラビア語が自然に使われる実態を十分に反映できなくなります。

品質検証の欠如。 ネイティブのアラビア語ベンチマークでさえ、厳密な品質チェックなしで公開されることが少なくありません。アノテーションの不整合、誤った正解（gold answer）、エンコーディングの誤り、そしてグラウンドトゥルースラベルにおける文化的バイアスは、確立されたリソースでもすべて報告されています。

再現性のギャップ。 評価スクリプトやサンプルごとの出力が公開されることは稀で、そのため結果の監査や、過去の研究を土台にした発展が難しくなります。

カバレッジの分断。 既存のリーダーボードは個別のタスクや狭い領域をカバーするにとどまっており、モデルの総合的な評価を難しくしています。

QIMMAが既存のプラットフォームに対してどこに位置づくかを示すと：

QIMMAは、次の5つの特性をすべて兼ね備える唯一のプラットフォームです。オープンソース、主にネイティブアラビア語のコンテンツ、体系的な品質検証、コード評価、そしてパブリックなサンプルごとの推論出力。

---

⛰ QIMMAには何が入っているの？

QIMMAは、14のソースベンチマークから 109のサブセットを統合し、7つの領域にまたがる、52,000件超のサンプルから成る統一的な評価スイートを構成しています：

この設計について、いくつか際立つ点があります：

• 99%が母語のアラビア語コンテンツ。 例外はコード評価のみで、コード評価は本質的に言語に依存しません。
• コード評価を備えた初のアラビア語リーダーボード。 QIMMAはHumanEval+とMBPP+のアラビア語に適応したバージョンを統合し、アラビア語の問題文によってコーディング能力を評価できるようにしています。
• 領域とタスクの多様性。 QIMMAは、教育、統治、ヘルスケア、創造的表現、ソフトウェア開発といった実社会の能力領域を評価します。

---

品質検証パイプライン

これはQIMMAの方法論の核です。1つのモデルを実行する前に、すべてのベンチマークのすべてのサンプルに対して多段階の検証パイプラインを適用しました。

ステージ1：マルチモデルによる自動評価

各サンプルは、最先端のLLM2つによってそれぞれ独立に評価されました：

• Qwen3-235B-A22B-Instruct
• DeepSeek-V3-671B

両モデルには強いアラビア語能力がありますが、学習データの構成が異なるため、それらの組み合わせた判断は、どちらか一方単独よりも頑健になります。

各モデルは、各サンプルを10点満点のルーブリックに基づいて採点し、基準ごとに二値（0または1）でスコア付けします：

どちらかのモデルが、そのサンプルのスコアを7/10未満とした場合、そのサンプルは除外されます。両モデルが除外に一致したサンプルは、即座に破棄します。しかし、除外のフラグを立てたのが片方のモデルだけの場合、そのサンプルはステージ2で人手による確認に進みます。

ステージ2：人手による注釈付与とレビュー

フラグが立てられたサンプルは、文化的背景や方言に対する理解がある母語話者（ネイティブのアラビア語話者）によってレビューされます。人手による注釈者は、最終判断を次の観点から行います：

• 文化的文脈と地域差
• 方言のニュアンス
• 主観的な解釈
• 自動評価では見落とし得る微妙な品質の問題

文化的に配慮が必要なコンテンツでは、「正しさ」はアラブの各地域によって実際に変わり得るため、複数の視点が考慮されます。

---

⚠️ 見つかったこと：体系的な品質問題

パイプラインは、ベンチマーク全体で繰り返し発生する品質問題を明らかにしました。単発の誤りではなく、ベンチマークが当初どのように構築されたかにおける欠落を反映する体系的なパターンです。

数字で見る

見つかった問題の分類（タクソノミー）

---

コードベンチマーク：別の種類の質の高い作業

コードベンチマークには、別の介入が必要でした。サンプルを捨てるのではなく、私たちは3LMのアラビア語版におけるHumanEval+とMBPP+のアラビア語問題文を洗練させました。その際、タスク識別子、参照解答、テストスイートは完全に変更せずそのまま残しました。

改変率は驚くほどでした：

改変は5つのカテゴリに分類されました：

1. 言語的な洗練 ：自然な現代標準アラビア語へ正規化し、命令形のスタイルを一貫させる
2. 明確さの改善 ：曖昧な指示や不明確な制約を修正する
3. 一貫性の正規化 ：数学的な用語、句読点、例の書式を標準化する
4. 構造上の修正 ：壊れた三重引用符付き文字列、インデントの誤り、破損したテキスト断片を修正する
5. 意味的な洗練 ：範囲が包含/排他的のどちらかを明確にし、タスクの意図を保つ

---

⚙️ 評価設定

評価フレームワーク

QIMMAでは、評価フレームワークとしてLightEval、EvalPlus、およびFannOrFlopを使用しています。これは、一貫性、複数言語コミュニティでの採用状況、再現性を重視して選ばれました。

タスク種別ごとの指標

プロンプトテンプレート

QIMMAは、質問形式によってプロンプトを標準化しており、6種類のテンプレートタイプがあります：

すべてのプロンプトはアラビア語です。MizanQAおよびArabCultureについては、元の論文にあるベンチマーク固有のシステムプロンプトが保持されています。

---

リーダーボードの結果

2026年4月時点の結果。評価済みモデル上位10件を対象としています。現在の順位については、ライブリーダーボードをご覧ください。

• スケールは最高の性能を保証しません。 上位10件は32Bから397Bのパラメータ規模のモデルを含み、いくつかの中規模モデルが特定の領域ではより大きいモデルを上回っています。
• アラビア語特化モデルが文化・言語タスクで先行します。 Jais-2-70B-ChatはArabicMMLUとArabCultureで最高位であり、一方でKarnakは3LMのSTEMとArabLegalQAで首位です。
• コーディングはアラビア語特化モデルにとって最も難しい領域です。 上位のHumanEval+およびMBPP+スコアは多言語モデルが占めており、Qwen3.5-397Bが両方で先頭に立っています。

サイズと性能の関係

全体のリーダーボード（46モデル）を通して見ると、明確ではあるものの不完全なサイズと性能の相関が見えてきます。とはいえ、興味深い例外もあります：

• アラビア語特化モデルは、多くの場合、サイズが一致する多言語モデルを上回ります
• 命令チューニング済みモデルは、Qwen3を除いて、そのベースモデルに一貫して勝っています
• 一部の小規模なアラビア語特化モデル（Fanar-1-9B、ALLaM-7B）は、特定の領域では、はるかに大きい多言語モデルを上回ります

---

QIMMAを他とどう違うものにしているのか

QIMMAの独自の特性を要約すると：

返却形式: {"translated": "翻訳されたHTML"}

---

リソース

• リーダーボード: QIMMA リーダーボード
• コード: GitHub
• 論文: Are Arabic Benchmarks Reliable? QIMMA's Quality-First Approach to LLM Evaluation

---

引用

@misc{alqadi2026arabicbenchmarksreliableqimmas,
      title={Are Arabic Benchmarks Reliable? QIMMA's Quality-First Approach to LLM Evaluation}, 
      author={Leen AlQadi and Ahmed Alzubaidi and Mohammed Alyafeai and Hamza Alobeidli and Maitha Alhammadi and Shaikha Alsuwaidi and Omar Alkaabi and Basma El Amel Boussaha and Hakim Hacid},
      year={2026},
      eprint={2604.03395},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2604.03395}, 
}