ステップフローが破綻する場所で推論は失敗する

要旨: 長い思考の連鎖を生成する大規模推論モデル（LRM）は、多段の数学・科学・コーディング課題で現在うまく機能しています。しかし、その挙動は依然として不安定で解釈が難しく、既存の解析ツールでは、そのような長く構造化された推論トレースを扱うのが困難です。私たちはStep-Saliencyを導入します。これは、注意—勾配スコアを、質問—思考—要約という軌跡に沿ったステップ間のマップへと集約するものです。複数のモデルにわたって、Step-Saliencyは2つの反復する情報フローの失敗を明らかにします。浅いロックイン（Shallow Lock-in）では、浅い層が現在のステップに過度に注意を向け、以前の文脈をほとんど使わない一方で、深い減衰（Deep Decay）では、深い層が思考セグメントに対する顕著性を徐々に失い、要約が自分自身や直近のいくつかのステップへますます注意を向けていきます。これらのパターンに動機づけられ、私たちはStepFlowを提案します。StepFlowは、Step-Saliencyによって測定される浅い顕著性パターンをOdds-Equal Bridgeで調整し、さらに深い層ではStep Momentum Injectionにより小さなステップ単位の残差を追加する、顕著性に触発されたテスト時介入です。StepFlowは、再学習なしで、複数のLRMにまたがって数学・科学・コーディング課題の精度を向上させます。これは、情報フローの修復によって、これらのモデルに欠けていた推論性能の一部を回復できることを示唆しています。