驚愕（サープライザル）理論における単位の適切な扱いについて
arXiv cs.CL / 2026/5/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 驚愕（サープライザル）理論は、人の言語処理に必要な努力と、これから現れる言語単位がどれくらい予測可能かを結びつけるが、実証研究では「単位」の概念がしばしば曖昧なまま扱われている。
- 本論文は重要な不整合として、実験では刺激を（例：単語などの）言語的単位に分割する一方で、事前学習済み言語モデルは通常それと一致しない固定のトークン集合に確率質量を割り当てる点を指摘している。
- 著者らは、驚愕ベースの予測器がしばしば、分析対象の「単位の定義」と、予測を評価する「関心領域（regions of interest）」という2つの異なる判断を混同するアドホックな手続きに依存していると主張する。
- そのうえで、これらの選択を切り分け、任意の単位インベントリに対して驚愕を考えるための統一的枠組みを提示している。
- 総じて、トークナイズを科学的な原理ではなく実装上の詳細として扱い、驚愕ベースの分析では単位定義と評価領域の選択を明示的にするべきだと提案している。
