メカニズムを埋める：発達上の制約下でLMはフィラー-ギャップ依存をどのように学習するのか？

arXiv cs.CL / 2026/4/17

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、wh-疑問文やトピック化など異なる統語構文間で、フィラー-ギャップ依存に関する表象が言語モデルにおいても転移可能に形成されるかを検討します。
BabyLMチャレンジのデータ量を変えて学習したLMに対してDistributed Alignment Search（DAS）を適用し、学習がデータ量の制約下でどう振る舞うかを調べています。
結果として、学習が限られたデータ量でも「共有されるが項目に依存する」メカニズムが発達し得ることが示唆されます。
とはいえ、人間と同等に近い一般化を獲得するにはモデルがはるかに多くのデータを必要とするため、獲得理論には言語固有の帰納バイアスの重要性が示されます。

Abstract

人間にとって、フィラー—ギャップ依存関係には、異なる統語的構文間で共有された表象が必要となる。因果的な分析は、これがLLMに対しても同様である可能性を示唆している（Boguraev et al., 2025）が、発達的に実現可能な量のデータで学習した言語モデルにおいて、そのような表象が存在するかどうかは依然として不明である。私たちは、BabyLMチャレンジ（Warstadt et al., 2023）から得られる異なる量のデータで学習した言語モデルに、分散アラインメント探索（DAS, Geiger et al. (2024)）を適用し、入力頻度が大きく異なるwh-疑問文とトピック化の間で、フィラー—ギャップ依存関係の表象が転移するかどうかを評価した。結果は、共有された機構が生まれ得る一方で、それは個別の項目に敏感なものである可能性を示している。さらに重要なのは、言語モデルが、人間と同等の一般化を学習するには、はるかに多くのデータを依然として必要とするという点であり、言語獲得のモデルには言語固有のバイアスが必要であることを強調している。