推論（Chain of Thought）は複雑なタスクをどのように分解するのか？

要旨: 多くの言語タスクは、分類問題としてモデル化できる。すなわち、大規模言語モデル（LLM）にプロンプトを与え、考えられる多数の解答のうち1つを選択させる。私たちは、このような問題における分類誤りが、クラス数に対してべき乗則に従ってスケールすることを示す。これには劇的な帰結がある。すなわち、全体のタスクを、同じクラス数（「次数（degree）」）をもつ、より小さな分類問題の連続へと分割することで、予測誤りを大幅に低減できる。この木構造の分解は、チェーン・オブ・ソート（CoT）をモデル化する。CoT に基づく予測器は、「考える」つまり、より深い木を展開して問題をより多くのステップへ分解する場合に、より良い性能を示すことが観察されている。私たちは、次数に関する臨界閾値を特定する。これより下では思考は有害だが、これより上では、誤りを最小化する最適な深さが存在する。この最小の誤りは、思考の深さを増やしても超えることはできない。