最適輸送を整列目的として用いた多言語文脈化埋め込みのファインチューニング
arXiv cs.AI / 2026/3/20
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ファインチューニング時の整列目的として最適輸送を用いることにより、クロスリンガル転送のための多言語文脈化埋め込みを改善する方法を提案している。
- 本手法は、文脈中の単語アラインメントを教師なしで学習し、事前に計算された単語アラインメントペアを必要としない。
- ソース文とターゲット文の間に、ソフトで柔軟な対応付けを可能にし、異なる言語的文脈を取り込めるようにする。
- XNLIおよびXQuADの実験では、ベースラインを上回る改善を示し、最近の関連研究と比較して競争力のある結果を得ている。
