家庭の事情：少量LLMをフェロー語に適応させるための言語転移と言語統合

arXiv cs.CL / 2026/3/27

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

原文を読む →

共有:

要点

本論文は、関連するスカンジナビア諸語（個別またはモデル統合による）に対する事前学習の継続を行った後、フェロー語で微調整することで、小型で効率的なLLMをフェロー語に適応させる方法を研究する。
全パラメータの微調整と、LoRAを用いたパラメータ効率の高い適応（PEFT）を比較し、一般的な言語モデリング、言語学的な正確さ、そしてテキスト理解への影響を評価する。
フェロー語の評価リソースが限られていることを補うため、著者らは2つの最小対（minimal pair）によるプロービング用ベンチマーク（言語的許容性とテキスト理解）を作成し、さらに母語話者のフェロー語言語学者による人手評価を追加する。
検証結果では、言語転移が重要であることが示されるが、最適な出所言語はタスクによって異なる。アイスランド語は言語的正確さに有益で、デンマーク語は読解理解を改善する。
適応と学習戦略にはトレードオフが見られる。LoRAは言語的許容性でより良い性能を示し、人手評価でもわずかに高いスコアを得る。一方、全パラメータの微調整は理解をより良く支え、下流の微調整にもより頑健に寄与する。さらに、複数ソースを用いた統合を伴う全微調整は一般的な言語モデリングを改善するが、プロービング指標では一貫性のある向上が得られにくい。