FusHaからFolkへ：アラビア語言語モデルにおける言語横断転移を探る

Abstract

アラビア語の言語モデル（LM）は主に現代標準アラビア語（MSA）で事前学習されており、その方言へ転移すると期待されています。標準的な書き言葉としてのMSAはフォーマルな場面で一般に用いられる一方で、人々はアラブ地域全体に広がるさまざまな方言でオンライン上では話し、また書いています。アラビア語LMにとっては、方言ごとにMSAとの類似度が異なるため、こうした状況が制約になります。本研究では、3つの自然言語処理（NLP）タスクに対するプロービングと表象（表現）の類似性を用いて、アラビア語モデルのクロスリンガル転移を調査します。その結果、転移は可能であるものの、方言間で不均衡に起こることが分かりました。これは、方言同士の地理的近さによって部分的に説明できることを見出しています。さらに、すべてのアラビア語の方言をサポートするように学習されたモデルには、負の干渉の証拠があることを確認しました。これはそれらの類似度の程度に疑問を投げかけ、アラビア語モデルにおけるクロスリンガル転移について懸念を生じさせます。