語彙は言語モデルにおける語順の学習容易性の跨言語的変動を形作る
arXiv cs.AI / 2026/3/23
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本研究は、自然言語の合成語順変異に対してトランスフォーマー言語モデルを事前学習させることで、語順の跨言語的学習可能性を調査する。
- 語順の不規則性が高まるとモデルのサプライザルが上昇し、学習可能性の低下を示す。
- 文の反転は学習可能性に弱い影響しか与えず、特定の語順の撹乱に対する感度が限られていることを示唆している。
- 著者らは、語彙構造（語彙とサブワードの構成）がサプライザルを、粗い自由順 vs 固定順の言語分類よりもよく予測することを示しており、語彙が跨言語的学習可能性の主要な推進力であることを明らかにしている。
