言語のギャップを埋める：事前学習におけるクロスリンガル・マッピングと、多言語LLMの性能向上のためのデータセット

Abstract

多言語大規模言語モデル（LLM）は、高資源言語と低資源言語の間にデータ不均衡があること、また事前学習における単一言語バイアスがあることにより、言語横断タスクが苦手です。バイリンガル微調整や対照的アラインメントといった既存手法は、言語横断性能を向上させることができますが、多くの場合、膨大な並列データを必要とするか、あるいは不安定性に悩まされます。これらの課題に対処するため、事前学習フェーズ中に言語横断マッピング課題（Cross-Lingual Mapping Task）を導入し、単一言語の流暢さを損なうことなく言語横断アラインメントを強化します。提案手法では、LLMの埋め込み空間内で言語を双方向にマッピングし、言語生成と理解の両方を改善します。さらに、限られたデータ状況でも言語横断の一貫性を頑健に定量化するための「言語アラインメント係数（Language Alignment Coefficient）」を提案します。機械翻訳（MT）、言語横断自然言語理解（CLNLU）、言語横断質問応答（CLQA）に関する実験結果では、本モデルが強力な多言語ベースラインに対して、MTで最大11.9 BLEUポイント、CLQAでBERTScore-Precisionが6.72ポイント、CLNLUの精度で5%以上の向上を達成することが示されました。これらの結果は、多言語LLMを改善するために、事前学習へ言語横断の目的を組み込む可能性を示しています。