大規模言語モデルの推論における失敗ダイナミクスを解剖する

arXiv cs.AI / 2026/4/17

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本研究は、大規模言語モデル（LLM）が推論時の熟考（推論時間での延長）中にどのように失敗するのかを調べ、誤りは一様に分布するのではなく、少数の初期の「遷移ポイント」から生じることが多いと示しています。
これらの初期の遷移後、生成される推論は局所的には整合的に見える一方で、全体としては誤った方向に進む（グローバルに誤りになる）という推論軌跡特有の失敗モードが示唆されます。
検出された遷移ポイントは、トークン単位のエントロピーが局所的に急上昇するタイミングと一致し、同じ中間状態からの別の継続でも正解に到達できる場合があることが分かります。
これらの観察に基づき、不確実性シグナルを用いて重要な遷移を探索・迂回させる推論時フレームワーク「GUARD」を提案し、複数ベンチマークで推論の信頼性を向上させたと報告しています。
著者らは、推論が最初に逸脱する「いつ／どのように」を理解することが重要であり、推論計算量のスケーリングに主眼を置く既存手法を補完すべきだと主張しています。