CAPITU：ブラジルポルトガル語における文学的文脈を用いた指示追従の評価ベンチマーク

要旨: ブラジルポルトガル語における大規模言語モデル（LLM）の指示追従能力を評価するためのベンチマークであるCAPITUを紹介します。英語に焦点を当てた既存ベンチマークや、汎用的なプロンプトを用いるベンチマークとは異なり、CAPITUはブラジル文学の8つの正典的作品の中にすべての課題を文脈づけ、検証可能な指示制約と、文化に根ざした内容を組み合わせます。このベンチマークは7つのカテゴリに整理された59種類の指示タイプで構成されており、LLMジャッジや人手による評価を必要とせずに、自動的に検証できるように設計されています。指示タイプには、ポルトガル語特有の言語学的制約（-ando/-endo/-indo、-inho/-inha、-mente のような語尾パターン）や構造的要件が含まれます。単一ターンおよび複数ターンの設定で、最先端モデル18個を評価します。結果から、最前線の推論モデルは強い性能を示します（推論付きGPT-5.2で厳密精度98.5%）。一方で、ポルトガル語に特化したモデルは競争力のある費用対効率を提供します（Sabiazinho-4: 0.13で87.0% 対 Claude-Haiku-4.5: 1.12で73.5%）。複数ターンの評価では、制約の持続性に大きなばらつきがあることが明らかになり、会話レベルの精度はモデル間で60%から96%の範囲に及びます。形態論的制約、正確な数え上げ、そしてターンをまたいだ制約持続性の劣化における具体的な課題を特定します。ポルトガル語における指示追従の研究を促進するため、完全なベンチマーク、評価コード、ベースライン結果を公開します。