大規模言語モデルにおける内的推論のシグネチャとしての時空間的隠れ状態ダイナミクス

arXiv cs.CL / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本研究は、LLMの「推論らしい」長い解答トレースが実際の内部計算を反映しているのか、それとも単なる冗長さや過剰思考なのかを検証し、粗い隠れ状態分析ではトークン／層レベルの構造が見えにくいと主張します。
推論に成功した軌跡では、時系列全体では変化が広く現れつつ、層ごとの集中は局所的になるという特徴的な時空間パターンが見られ、この構造は非推論モデルや知識中心の領域では弱くなります。
この特徴を StALT（Spatiotemporal Amplitude of Latent Transition）として定式化します。StALTは、隣接するトークン間の隠れ状態遷移を、トークン内の層の重要度で重み付けして要約する学習不要の統計量です。
複数のモデルとベンチマークにわたり、StALTは推論負荷の高い状況で正解／不正解のトレースを信頼性高く分離でき、出力空間や長さベースの手法と競合し得るラベル不要の正確性シグナルになります。
介入（操作）実験では、内部推論の要求を増減させるとStALTが体系的に変化し、StALTがLLMの潜在的推論ダイナミクスに結びついていることを裏付けます。