言葉を使わずに考える：抽象的なチェーン・オブ・ソートによる効率的な潜在的推論

要旨: 長い明示的な連鎖的思考（CoT）が複雑な推論課題に対して有効であることは証明されてきましたが、推論時にそれらを生成するにはコストがかかります。非言語的な推論手法は、連続表現を活用して生成長を短くすることで登場してきましたが、言語化されたCoTに比べると性能が劣ります。私たちは、言語モデルが自然言語のCoTの代わりに、予約された語彙からの短いトークン列を生成してから応答を生成する、事後学習（post-training）における離散潜在推論メカニズムである\textbf{Abstract Chain-of-Thought}を提案します。これまで見たことのない「抽象」トークンを有用にするために、方策反復（policy iteration）スタイルのウォームアップループを導入します。これは、(i.) マスキングによって言語化されたCoTからボトルネック化を行い、教師あり微調整を実施することと、(ii.) コードブックによる制約付きデコードで、プロンプトだけからモデルに抽象トークンを生成させるように訓練する自己蒸留とを交互に行います。ウォームアップの後、制約付きデコード下でウォームスタートした強化学習により抽象系列の生成を最適化します。Abstract-CoTは、数学的推論、指示追従、多段（multi-hop）推論において同等の性能を示しつつ、推論トークンを最大で11.6\times削減します。また、言語モデルのファミリーをまたいで汎化します。さらに、学習フェーズを通じて進化する、自然言語で見られるものに類似した、抽象語彙に関する創発的なべき乗則分布も見出します。これらの発見は、学習された抽象推論言語によって効率的な推論を可能にする、事後学習における潜在推論メカニズムの可能性を示しています。