大規模言語モデルはCoTの過程で忠実かつ反復的に解を計算する：多段階算術を用いた系統的分析

Abstract

本研究は、大規模言語モデル（LLMs）がチェーン・オブ・ソート（CoT）スタイルの推論を行う際の内部情報の流れを調査します。具体的には、CoTの説明がLLMsの最終回答に対してどれだけ忠実であるかに特に関心を持ち、(i) LLMの回答が（事前に）決定されている時期、特にCoTが開始する前か後か、(ii) CoT由来の情報が最終回答に対してどれだけ因果的影響を及ぼすかを検討します。我々の制御された四則演算タスクを用いた実験は、LLMsの体系的な内部推論メカニズムを明らかにします。入力がモデルに入力された瞬間には、彼らは回答を導き出していません。代わりに、推論チェーンを生成しながら（サブ）回答を計算します。したがって、生成された推論チェーンは、モデルの内部計算の忠実な反映と見なすことができます。 返却形式: {"translated": "翻訳されたHTML"}