数値不安定性とカオス：大規模言語モデルの予測不能性を定量化する
arXiv cs.AI / 2026/4/16
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、大規模言語モデルがエージェント型ワークフローにおいてなぜ予測不能な信頼性の低下を起こしうるのかを分析し、この振る舞いを有限の浮動小数点精度に由来する数値不安定性に結び付けて説明します。
- 丸め誤差がTransformer層を通じてどのように伝播するかを特徴づけ、微小な摂動が急速に増幅されたり完全に減衰したりし得る、初期層のカオス的な「雪崩（avalanche）効果」を特定します。
- 著者らは、モデルやデータセットをまたいで観測される普遍的で、スケール依存的なカオス挙動を報告し、それを3つのレジームに分けます：安定（誤差が消失する）、カオス（誤差が支配し出力が発散する）、信号優勢（真の入力変化が数値ノイズに打ち勝つ）。
- 複数のデータセットとTransformerアーキテクチャに対する広範な検証により、提案された予測不能性のメカニズムが支持されます。
