言語モデルのプランナーはスケールしないが、フォーマライザーはスケールするのか？
arXiv cs.CL / 2026/3/26
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、複雑な計画タスクにおいてLLMがスケールに苦戦する一方で、解法志向のプログラムを生成するLLM「フォーマライザー」にも同様の制約が当てはまるかは不明であることを示しています。
- 著者らは、LLMフォーマライザーがLLMプランナーを大幅に上回ることを実証し、非常に大きな状態空間（最大10^165）を持つBlocksWorldドメインにおいて完璧な精度に到達しています。
- 彼らは、フォーマライザーが小さいほど問題の複雑さが増すと劣化することを観察していますが、分割統治（divide-and-conquer）型のフォーマライジング手法により頑健性を大きく高められることを示します。
- フォーマライザーを徹底的に検証するため、本論文では「アンラビリング問題（unraveling problems）」を導入します。これは、問題記述の1行が、形式言語の行として指数関数的に多数の対応（例：PDDL）を持つものです。さらに、その結果生じる組合せ爆発を管理するために「LLM-as-higher-order-formalizer」を提案します。
- 新しいパラダイムでは、LLMにプログラムジェネレーターを生成させることで、トークン生成から、展開されたフォーマライゼーションおよび探索の複雑さを切り離します。
