SommBench: 言語モデルのソムリエ能力を評価する

要旨: 大規模言語モデルの急速な進歩により、それらの多言語・多文化能力を体系的に評価することの重要性が高まっています。これまでの文化評価ベンチマークは、主に言語的形式に符号化できる基本的な文化知識に焦点を当ててきました。ここで、嗅覚と味覚に深く根ざした領域であるソムリエの専門性を評価する多言語ベンチマーク、SommBench を提案します。言語モデルは感覚的性質を文字情報の記述を通じて学習しますが、このテキスト的基盤だけで専門家レベルの感覚判断を再現できるかを検証します。SommBench は Wine Theory Question Answering (WTQA)、Wine Feature Completion (WFC)、Food-Wine Pairing (FWP) の3つの主要タスクで構成されています。SommBench は英語、スロバキア語、スウェーデン語、フィンランド語、ドイツ語、デンマーク語、イタリア語、スペイン語の複数の言語で利用可能です。これは、言語モデルのワイン専門知識を言語能力から分離するのに役立ちます。ベンチマークのデータセットは、専門のソムリエと各言語のネイティブスピーカーと密接に協力して開発され、結果として 1,024 のワイン理論質問回答、1,000 のワイン特徴完成の例、1,000 の食品-ワインペアリングの例が作成されました。我々は、Gemini 2.5 のような閉源モデル、GPT-OSS および Qwen 3 のようなオープンウェイトモデルを含む、最も人気のある言語モデルの結果を提供します。我々の結果は、最も有能なモデルがワイン理論の質問回答で高い性能を示す（閉源モデルで最大 97% 正解）、しかし特徴完成がピークで 65%、食品-ワインペアリングは（MCC が 0 から 0.39 の間）より難しいことを示します。これらの結果は、SommBench を言語モデルのソムリエ専門性を評価する興味深く挑戦的なベンチマークとして位置づけます。ベンチマークは公開されており、https://github.com/sommify/sommbench にあります。