重ね合わせの錯覚？ 言語モデルにおける潜在的思考（Latent Thinking）の原理的分析
arXiv cs.CL / 2026/4/9
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、連続的な潜在チェーン・オブ・ソート（Latent CoT）推論を用いる際に、言語モデルが「重ね合わせ（superposition）」を本当に活用しているのか、それとも理論上の主張だけに頼っているのかを検証する。
- 3つの設定――学習なしの凸結合、潜在的思考を生成するための微調整、スクラッチからの学習――を評価し、その結果、重ね合わせの利用と整合的な兆候が見られるのはスクラッチのモデルのみであることを示す。
- 学習なしおよび微調整の領域では、想定される重ね合わせは通常崩壊するか、実質的に利用されない。代わりにモデルは、近道（ショートカット）解へ収束する傾向を示す。
- 著者らはこれらの結果を、(1) 自然言語での事前学習によるバイアスが後段の層で単一トークンへのコミットメントを引き起こすこと、ならびに (2) モデル容量の影響が、どの候補解が好まれるかを形作ること、の2点に帰している。
- 全体として本研究は、連続CoTにおいて重ね合わせがいつ生じ、いつ失敗するのかを原理的に説明し、それが崩壊する条件を整理している。
