深さの上限：潜在的な計画発見における大規模言語モデルの限界について

Abstract

chain-of-thought（CoT）モニタリングの有効性は、モデルが潜在表現の中で効果的に推論できないことに依存しています。しかし、LLMにおけるそのような潜在推論の限界については、ほとんど分かっていません。私たちは、モデルが中間ステップに対する監督なしで多段の計画戦略を発見できるかどうか、そしてそれを単一のフォワードパスの中で潜在的に実行できるかどうかを調べることで、これらの限界を検証します。必要とされる潜在計画ステップ数を正確に制御するグラフの経路探索タスクを用いることで、巨大なスケーリングでは未解決の、驚くべき限界が明らかになります。すなわち、スクラッチから学習した小型トランスフォーマーは最大で3つの潜在ステップを要する戦略を発見でき、微調整したGPT-4oとQwen3-32Bは5に到達し、GPT-5.4はfew-shotプロンプトで7を達成します。学習中にモデルが学習しうる最大の潜在計画の深さは5ですが、発見された戦略はテスト時に最大8つの潜在ステップまで一般化します。これは、最終回答の監督だけで潜在戦略を発見できる能力と、発見した後にそれを実行できる能力の間に分離があることを示しています。もし同様の限界がより広く成り立つなら、多数の協調した潜在計画ステップを必要とする戦略は、明示的に教えるか、外部化する必要があるかもしれず、CoTモニタリングに一定の信憑性を与えることになります。