CWoMP: インターリニア・グロスの形態素表現学習

Abstract

行間グロス付きテキスト（IGT）は、言語文書化の標準表記法であり、言語学的には豊かだが手作業で作成するには労力がかかる。最近の自動IGT手法はグロスを文字列として扱い、それらの構成的な構造を無視する。私たちはCWoMP（Contrastive Word-Morpheme Pretraining）を提案する。むしろ語素を、学習済みの表現を持つ原子レベルの形態-意味単位として扱う。対照的に訓練されたエンコーダは、文脈中の語とそれを構成する語素を共有埋め込み空間で整列させる；自己回帰デコーダは、これらの埋め込みからなる可変語彙のエントリを取得して語素列を生成する。予測は語彙エントリに基づいて解釈可能であり、推論時に語彙を拡張して再学習せずに結果を改善できる。私たちは多様な低リソース言語で評価し、CWoMP は既存の手法より優れており、はるかに効率的であることを示し、特に極めて低リソース設定で大きな改善を示した。