カリキュラム学習のもとで言語モデルにとって「学習しやすい」言語とはどんな言語か？
arXiv cs.CL / 2026/4/30
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この研究は、人間の言語に見られる類型的傾向（珍しい特徴の組み合わせから一般的な組み合わせまで）と、言語モデルが学習する内容との関係を検討します。
- 研究は、言語モデルの学習バイアスだけで観測される言語類型のパターンを再現できるのかを問う一方で、学習シナリオという分析軸を追加して掘り下げます。
- 最初のステップとして、入力をランダム順ではなく簡単な文から始めるカリキュラム学習を取り上げます。
- その結果、カリキュラム学習は言語モデルの「見かけの帰納的バイアス」に大きく影響し、モデルが類型的な効果を示す仕方を変えることが分かりました。
- 全体として、本研究は言語モデルのバイアスとして報告されるものが、モデル固有の性質だけでなくデータの順序や学習カリキュラムに強く依存しうることを示唆しています。
