AI Navigate

文処理の粒子フィルターのアルゴリズム的帰結:拡大されたガーデンパスと掘り込み効果

arXiv cs.CL / 2026/3/13

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • LLMを用いたサプライザル理論は、構造的曖昧さが破られたとき処理の難しさを過小評価する。これは、文の処理において曖昧さの明示的な表現が重要であることを示唆している。
  • 粒子フィルターモデルは、複数の構造仮説を粒子として明示的に表現し、単一表現のサプライザル仮説に対する具体的な代替案を提供する。
  • 著者らは、粒子フィルターに基づく処理がガーデンパス効果を増幅し、曖昧性のもとで誤解をより顕著にすることを証明している。
  • これらの粒子フィルターにおけるリサンプリングは実時間の掘り込み効果を生み出し、曖昧領域の長さが長くなるにつれて曖昧さの解消の難しさが増大する。
  • 掘り込みの大きさは粒子数に逆比例してスケールし、完全に並列な(高粒子数の)設定は掘り込みを示さないと予測される。
サプライザル理論のもとでは、言語表現は処理困難さに影響を与えるのはサプライザルのボトルネックを介する場合に限られる。私たちのサプライザルの最良の推定は大規模言語モデルから得られ、これらは構造的曖昧性の明示的な表現を持っていない。大規模言語モデルのサプライザルは、言語間で読み時間を頑健に予測する一方で、構造的期待が破られたときには難易度を体系的に過小評価する—曖昧さの表現が文の処理に因果的に関与していることを示唆している。粒子フィルターモデルは、構造的仮説を有限個の粒子として明示的に表現する代替案を提供する。粒子フィルターモデルのいくつかのアルゴリズム的帰結を証明しており、その中にはガーデンパス効果の拡大が含まれる。最も重要なのは、これらのモデルで一般的に行われるリサンプリングが本質的に実時間の掘り込み効果を生み出すことを示しており—曖昧な領域の長さが増すと解消困難さが増大する。掘り込みの大きさは粒子数に逆比例してスケールし、完全に並列な(高粒子数の)モデルはそのような効果を示さないと予測される。