正しい答え、間違った方向：トランスフォーマーが数えられない理由と直し方
arXiv cs.LG / 2026/5/6
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 大規模言語モデルは、数える対象がプロンプト内に明示されていても、単純な数え上げ課題で失敗しがちである。
- Pythia、Qwen3、Mistral（0.4B〜14Bパラメータ）での実験から、問題は内部に「数」を表す表現が欠けていることではなく、内部表現から出力トークン（数字）へ変換する際の読み出しミスマッチにあることが示唆される。
- 線形プローブにより中間層から正しい数がほぼ完璧に回復できる一方（R^2>0.99）、数を符号化する内部方向は出力ヘッドの数字トークン行にほぼ直交している（|cos|≤0.032）。
- 対応する改善ではボトルネックが出力経路側にあることが確認され、数字の出力行のみを更新すると制約付き次トークンの数字予測が大幅に改善し、さらに注意のQ/V重みに小規模LoRA介入を行うと真の自己回帰生成が改善して正しい数字の語彙順位が劇的に向上する。
- 著者らは、数え上げの失敗は「幾何学的な読み出しボトルネック」であり、文字数え、加算、リスト長などにまたがって一般化する一方、MMLU、GSM8K、DROPのような広範な多段推論ベンチマークには見られないと結論づけている。
