それゆえに私は考える。私は思う

要旨: 本論文では、次の問いを考察します。大規模言語推論モデルがある選択を行うとき、そのモデルは「まず考えてから決めた」のか、「まず決めてから考えた」のか、どちらなのでしょうか。本論文では、検出可能な初期エンコードされた意思決定が、推論モデルにおける思考過程（chain-of-thought）を形作るという証拠を提示します。具体的には、単純な線形プローブによって、生成前の活性化からツール呼び出しの意思決定を非常に高い確信度で復号でき、場合によっては、単一の推論トークンが生成される前からさえ可能であることを示します。さらに、活性化ステアリングは因果的にこれを支持します。すなわち、意思決定方向に摂動を加えると、熟考（deliberation）が膨らみ、また多くの例で挙動が反転します（モデルとベンチマークにより 7 - 79% の範囲）。加えて、行動分析により、ステアリングによって意思決定が変わった場合、思考過程はそれに抵抗するというより、しばしばその反転を合理化することを示します。これらの結果は、推論モデルが、文章で推論を始める前に、行動選択をエンコードしている可能性を示唆しています。