要旨: 本論文は、欧州ポルトガル語（PT-PT）用の Open Large Language Models（LLM）のリーダーボードの開発と、それに関連するベンチマークについて報告する。このリーダーボードは、欧州ポルトガル語のLLM評価のギャップを埋めるための取り組みとして登場するもので、これまでこの言語のこの変種に特化したリーダーボードが存在していなかった。本論文は、欧州ポルトガル語のベンチマークでこれまで利用可能になっていなかったパフォーマンスの側面を扱う新規ベンチマークについても報告しており、具体的にはモデルのセーフガードとポルトガル文化への整合性を含む。このリーダーボードは https://huggingface.co/spaces/PORTULAN/portuguese-llm-leaderboard で利用可能です。
CLARIN-PT-LDB: ポルトガル語用のオープンLLMリーダーボード—言語・文化・礼儀性を評価する
arXiv cs.CL / 2026/3/16
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、欧州ポルトガル語のLLMを評価するためのオープンなリーダーボードであるCLARIN-PT-LDBを提示します。
- ポルトガル文化との整合性とセーフガードを網羅するベンチマークを導入することで、評価のギャップに対処します。
- これらのベンチマークには、欧州ポルトガル語ではこれまで利用できなかった新規の側面が含まれており、言語、礼儀正しさ、文化のよりニュアンスのある評価を可能にします。
- リーダーボードとリソースは Hugging Face Space で提供されており、研究者と開発者にとってアクセスしやすい評価プラットフォームを提供します。
