スケールによる改善と悪化：コンテキスト付きエントレインメントはモデル規模とともにどう分岐するか
arXiv cs.CL / 2026/4/16
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、言語モデルがスケールアップするにつれて、反事実的な誤情報への耐性は高まる一方で、文脈中の無関係なトークンを無視する能力は低下することを示している。
- 「コンテキスト付きエントレインメント」（与えられた文脈に現れるトークンを、それが関連しているかどうかに関係なく優先的に用いる挙動）に関する、初めてのスケーリング則を提示する。
- 著者らは Cerebras-GPT（111M〜13B）および Pythia（410M〜12B）を用い、コンテキスト付きエントレインメントが予測可能なべき法則としてスケールすることを見出すが、その傾向は文脈の種類によって異なる。すなわち、意味的な文脈では大きいモデルほどエントレインメントが減少し、非意味的な文脈では増加する。
- 結果は分岐を定量化している。最大規模のモデルは、反事実的な誤情報への耐性が約4倍である一方、任意のトークンをそのまま写し込む傾向は約2倍高い。
- 本研究は、 「意味的フィルタリング」と「機械的なコピー」は別個のメカニズムとして振る舞い、それらが逆方向にスケールすることを結論づける。したがって、スケーリングだけでは文脈への感度は解消されない。
