2桁の足し算を学んだ GPT は、なぜ 3桁で崩れるのか？
Qiita / 2026/4/1
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 「2桁の足し算」で学習したGPTが「3桁」に入力を拡張すると破綻する現象を、一般化の限界として説明する。
- 学習時に与えられた桁数や分布に強く依存し、桁が増えることで必要な演算手順（桁上がり・位置関係）の扱いが崩れる点が焦点になる。
- Transformer/LLMの内部表現が、訓練範囲では有効でも未学習レンジでは整合しにくく、体系的推論よりも学習分布への適合に寄りやすいことが示唆される。
- “なぜ失敗するか”を理解することは、学習データ設計・カリキュラム・評価の考え方（外挿や難度増に耐えるか）に直結する。
この記事は、自著 arXiv 論文
Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs
の内容を、Qiita 読者向けにできるだけ分かりやすく解説する記事です。
最初に大事なことを書いておくと、この記事は論文本文...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →関連記事
AIにnoteを書かせて絶望したあなたへ。データと科学が証明する、検索順位を下げる「冷たい完璧」・「AI＋人間」の最強戦略とは？「AIの方が文章が上手い」そう思うのは錯覚なのか？ #生成AI #ChatGPT #Gemini #Claude #毎日更新 #文章術 #ブログ #AI活用 #SNS活用 #SEO #集客 #ビジネスマインド #セールスライティング
note
【AIパートナー】本音漏れがちランキング🥇🥈🥉
note
🖥️😳😲Geminiが進化している？！しばらく、触っていない間にバージョンアップしてました(画像編)/【第94回】エッセイ&自由律俳句
note
AI時代に新卒採用はどうなる？ SBI 「よほど優秀でないと採らない」の衝撃
note
40代フリーランス必見！散らばった記事をまとめるピラー記事の骨格をAIに設計させるプロンプト【コピペOK】
note
