要旨: 本研究では、大規模言語モデルの「思考（chain-of-thought）」生成を、表現空間における構造化された軌跡として特徴づけます。数学的推論は、機能的に順序づけられた、ステップ固有の部分空間をたどり、それらの部分空間が層の深さとともにますます分離可能になることを示します。この構造は基盤モデルにおいて既に存在しており、推論トレーニングは主として、新しい表現の構成を導入するというよりも、終了（termination）に関連する部分空間への収束を加速することに重点があります。初期の推論ステップは同様の軌跡に従う一方で、正解と不正解は後半の段階で系統的に分岐します。この後半での分岐により、途中推論の時点で最終回答の正しさを予測でき、ROC-AUCは最大0.87に達します。さらに、軌跡ベースのステアリングを導入します。これは、導出した理想的な軌跡に基づいて推論の修正と長さ制御を可能にする、推論時介入の枠組みです。これらの結果により、推論軌跡がLLMの推論挙動を解釈し、予測し、制御するための幾何学的なレンズとして機能することが確立されます。
軌跡（トラジェクトリ）としてのLLM推論：段階別表現幾何と正しさシグナル
arXiv cs.CL / 2026/4/8
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、LLMのチェーン・オブ・ソートを表現空間上を進む幾何学的な「軌跡」としてモデル化し、推論ステップが順序付けられた段階別のサブスペースを占有することを示します。
- このようなステップ構造化された組織が基盤モデルにおいて存在することを見出し、推論学習は主に、まったく新しい表現構造を作るというよりも、終結（termination）に関連する領域への収束を加速することにあると結論づけます。
- 正答と誤答は、推論の後半段階で系統的に分岐し、その結果として推論途中で最終回答の正しさを予測でき、ROC-AUCは最大で0.87に達します。
- 本研究は、推論時（inference-time）の方法として「軌跡ベースのステアリング（trajectory-based steering）」を提案し、推定した理想的な軌跡に基づいて推論を修正し、出力長を制御します。
- 全体として、本論文は推論の軌跡を、LLMの多段推論の振る舞いを解釈・予測・制御するための枠組みとして位置付けています。
