言語固有の知識：モデルは英語よりXの方が得意なのか？

概要: 多言語の言語モデルは、意味的に類似した内容（異なる言語間にあるもの）を、同じ潜在空間へ写像することを目的として学習されることが多い。本論文では、この学習目的に潜む微妙な点を示し、入力クエリの言語を変更することで、言語モデルの質問応答能力を向上できることを見出す。主要な貢献は2つある。第一に、特定のLLMに対して、ある「専門家の言語（expert language）」で最も適切に応答されるクエリを表すための用語として、Language Specific Knowledge（LSK）を導入し、それによって質問応答能力を高める。第二に、言語選択の問題を導入する。すなわち、一部のクエリに対しては、言語モデルが英語以外の言語で問い合わせられたときの方がより良い性能を示し、場合によっては低資源言語においてさえさらに良い性能を示すことがある。そして目的は、クエリに対して最適な言語を選択することにある。第二の貢献として、言語選択問題を経験的に動機づけるための、単純なものから強いものまでの多様なベースラインを導入する（我々自身の手法であるLSKExtractorを含む）。評価では、文化的および社会的な行動規範の両方に関する知識を含む3つのデータセットを用いる。全体としての結果は、筋の通った言語選択が言語モデルの性能を改善できること、そして期待される「質問から言語への対応」が必ずしも直感的ではないことを示している。たとえばGemmaモデルはスペイン語において中国と中東について最も多くを知っており、Qwenモデルはアラビア語と中国語において権威と責任について最も多くを知っている。より広く言えば、本研究は、配備先における文化的・言語的文脈により適合し、かつ包括的な言語モデルのオープンソース開発に寄与する。