実行中の合理化を捕捉する: 活性化プローブによるCoT前後の動機づけ推論の検出

要約: 大規模言語モデル（LLMs）は、回答の背後にある実際の要因を正確には反映しない思考連鎖（CoT）を生み出すことがある。特定の選択肢を有利にする注入ヒントがある多肢選択設定では、モデルはヒント付きの選択肢へと最終回答を移し、ヒントを認めずに回答を正当化するCoTを生成する——動機づけられた推論の一例である。私たちはこの現象を複数のLLMsファミリとデータセットにわたり調査し、CoTから容易には判断できない場合でも、内部の活性を探索することで動機づけられた推論を特定できることを示す。モデルの残差ストリーム上で訓練された教師付きプローブを用いて、以下を示す。 (i) 事前生成プローブは、CoTトークンが生成される前に適用され、完全なCoTトレースにアクセスするLLMベースのCoTモニターと同様に動機づけられた推論を予測する、そして (ii) 事後生成プローブは、CoT生成後に適用され、同じモニターよりも上回る。これらの結果は、動機づけられた推論がCoTモニタリングよりも内部表現からより信頼性高く検出されることを示している。さらに、事前生成の検査は早期に動機づけられた挙動を検知でき、不要な生成を回避する可能性がある。