段階的な情報性の仮定：LLMにおいてなぜエントロピー・ダイナミクスと推論が相関するのか？

要旨: 近年、複数の表現レベルにおけるエントロピーに基づく信号を用いて、大規模言語モデルの推論を調べる研究が行われているが、この分野は依然として大部分が経験的である。未解決の中心的な謎は、モデルの予測分布の下で定義される内部エントロピーのダイナミクスが、正解（真理となる答え）によって与えられる外部の正しさと、なぜこれほど頑健に相関するのかである。本論文では、この相関は、自己回帰モデルが、答えに情報を与える接頭辞を通じて真の答えに関する情報を蓄積することで正しく推論するために生じる、ということを主張する。我々は、この直観をステップワイズ情報度仮説（Stepwise Informativeness Assumption: SIA）として形式化する。SIAは、生成が進むにつれて、推論の接頭辞が期待値の下で答えに関連する情報を蓄積することを述べる。SIAは、人間の推論トレースに対する最大尤度最適化から自然に導かれ、標準的なファインチューニングや強化学習パイプラインによって強化されることを示す。さらに、条件付きの答えエントロピーのダイナミクスと正しさを結び付ける、SIAの観測可能なシグネチャを導出する。実験では、複数の推論ベンチマーク（GSM8K、ARC、SVAMP）および、多様な公開重みLLM群（Gemma-2、LLaMA-3.2、Qwen-2.5、DeepSeekとOlmoのバリアント）にわたってSIAを検証し、学習がそれを誘導すること、また正しいトレースは特徴的な条件付き答えエントロピーのパターンを示すことを示す。