文として考える：明示的な文境界が言語モデルの能力を強化する
arXiv cs.CL / 2026/4/14
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 既存研究がダミートークン挿入に注目する一方で、自然言語が本来持つ文境界という構造を活用できていない点を問題提起しています。
- 提案手法では、LLM入力における文境界へ区切り（delimiter）を挿入することで、ダミートークンを文脈に統合しつつ推論を「文ごと」に扱う挙動を促します。
- 手法はin-context learningと教師あり微調整の2方式を検証し、7B〜600BのDeepseek-V3スケールで実験されています。
- 多様なタスクで一貫した改善が見られ、特にGSM8kで最大7.7%、DROPで最大12.5%の向上が報告されています。
