バイアスレスな言語モデルは不自然に学習する：LLMが可能性のあるものと不可能なものを区別できない理由
arXiv cs.CL / 2026/4/1
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文は、大規模言語モデル（LLM）が、人間にとって可能な言語と不可能な言語を、学習曲線の比較によって区別できるかどうかを調査する。
- 先行手法をより多くの言語およびより多様な「不可能な」撹乱に対して再現した結果、GPT-2は通常、自然言語とその不可能な対応物を、同程度の容易さで学習することが分かった。
- 可能な言語集合と不可能な言語集合を分離するための、より広く寛容なテストを用いても、GPT-2の振る舞いには系統的で一貫した区別が見られない。
- 全体として、これらの結果は、先行研究から仮説として提案されてきた「可能／不可能」区別に対する信頼できるバイアスや感度を、GPT-2が欠いていることを示唆している。
