A100 GPU を使用して 15 のタイ語タスクで MTEB ベンチマークを実行しました。結果:
- Qwen3-Embedding-4B — 74.41
- KaLM-Gemma3-12B — 73.92
- BOOM_4B_v1 — 71.84
- jina-v5-text-small — 71.69
- Qwen3-Embedding-0.6B — 69.08
- multilingual-e5-large — 67.22
- jina-v5-text-nano — 66.85
- bge-m3 — 64.77
- jina-v3 — 57.81
Qwen3-0.6B はそのサイズにしては印象的です — タイ語のタスクでは 4B モデルにほぼ匹敵します。bge-m3 は堅実ですが、タイ語専用として特に特筆すべき点はありません。
タスク別内訳付きのインタラクティブなリーダーボード: https://anusoft.github.io/thai-mteb-leaderboard/
すべてのベンチマークはタイ王国の国立スーパーコンピューター(LANTA)上で実行されました。結果は公式の MTEB リポジトリに統合されました。
[リンク] [コメント]