なぜ、エンコーダのケースでは、より良いクロスリンガルアライメントがより良いクロスリンガル転移に失敗するのか

要約: より良いクロスリンガルアライメントは、より良いクロスリンガル転移をもたらすとよく仮定される。
しかし、埋め込みの類似性を高めるにもかかわらず、明示的なアライメント手法は、頻繁にトークンレベルの下流パフォーマンスを改善できない。
本研究では、この不整合は、アライメントと下流タスクの目的が大きく直交していること、そしてアライメントの下流効果が言語やタスクの種類によって大幅に異なることが原因であることを示す。
異なる言語ペアでアライメントされた4つのXLM-Rエンコーダーモデルを分析し、POSタグ付けまたは文分類のいずれかにファインチューニングする。
埋め込み距離、勾配の類似性、そしてタスクとアライメントの損失の勾配の大きさを含む表現分析を用いて、次のことを見出した:
（1）埋め込み距離だけは、タスク性能の改善（あるいは劣化）を予測するには信頼性がない、そして（2）アライメントとタスクの勾配はしばしば直交に近く、片方の目的を最適化してももう一方を最適化することにはほとんど寄与しないこと。
総合すると、我々の発見は、なぜ「より良い」アライメントがしばしば「より良い」クロスリンガル転移へとつながらないのかを説明している。
これらの洞察に基づき、クロスリンガルアライメントとタスク固有のファインチューニングを組み合わせる際の実践的なガイドラインを提供し、慎重な損失選択の重要性を強調します。