Maistros：大規模推論モデルからの知識蒸留で適応したギリシャ語の大規模言語モデル

概要: 大規模言語モデル（LLM）は、自然言語処理（NLP）分野を大きく前進させ、多様なタスクにおいて最先端の性能を達成してきました。これらの改善は、部分的には、大規模な学習とモデルの能力（キャパシティ）の増大によって可能になる、創発的な推論能力の登場に起因していると考えられます。しかし、既存のLLMは、学習分布の外側にある複雑な質問に対処する際、内部知識が限られていることや多段階の推論が必要であることなどのために、誤った応答を生成し得ます。こうした制限に対処するため、近年の研究では、大規模推論モデル（LRM）を導入することで、応答の正確性を高めるための明示的な内部推論プロセスを組み込んできました。加えて、最先端のLRMは、多くの場合、数百億（hundreds of billions）のパラメータを含み、高度なマルチGPUシステムであっても推論1回あたり数秒を要します。これらの特性は、従来の計算環境での実運用における現実性を制限します。一方で、多言語LLMに関するNLP研究は、高リソース言語を優先し続けています。しかし、これらのモデルは、主として言語および文化に固有な十分な学習データが不足しているため、低リソース言語では性能が限定的です。本論文では、現代ギリシャ語に注目します。現代ギリシャ語について提案されている質問応答（QA）データセットはごく限られており、その大半はモデル評価を目的としています。ギリシャ語QAにおけるこの研究ギャップに対処するため、私たちは以下の貢献を行います: （i）CulturaQA。ギリシャ語LLMの学習および評価のための、高品質なLRM生成データセットで、人手によってキュレーションされたもの。 （ii）多様な言語およびQAタスクに適応可能な、メモリ効率の高いLLM評価フレームワーク。 （iii）Maistros 8B。CulturaQAでの知識蒸留および微調整によって開発された、最先端のオープンウェイトなギリシャ語LLM。 （iv）人手でキュレーションされた9つのギリシャ語QAデータセットに対して、9つのLLMを包括的に評価したこと。