チェーン・オブ・ソートが失敗するとき、解決策は“隠れた状態”の中にある
arXiv cs.CL / 2026/4/28
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 研究では、チェーン・オブ・ソート（CoT）の中間トークンが計算上有用かどうかを、「CoTトークンにタスクに必要な情報が含まれているか」で評価します。
- GSM8Kに対して活性化パッチングを用いた因果的なメカニズム解析を行い、CoT実行で得たトークン単位の隠れ状態を同一質問のダイレクト回答実行へ移すと、パッチ後の生成がダイレクト・プロンプトや元のCoTトレースより大きく精度が向上することを示します。
- タスクに必要な情報は、正しいCoT実行により多く見られ、トークン間で不均一に分布し、トランスフォーマ層の中盤〜終盤に集中しつつ、推論トレースの比較的早い段階で現れやすいことが分かります。
- さらに、動詞や固有名詞などの言語トークンは正解へ向けて推論を導きやすい一方で、数学トークンは答えに近い内容を表しているものの成功につながりにくいと報告しています。
- パッチ後の出力はフルのCoTより短い場合が多いにもかかわらず、全CoTトレースを上回る精度を示し、必ずしも完全な推論連鎖が不要であることを示唆します。
