シリアル・スケーリング仮説

Abstract

機械学習は大規模な並列化によって発展してきましたが、私たちは重要な盲点を見いだします。それは、ある種の問題は本質的に逐次的であるという点です。数学的推論から物理シミュレーション、逐次的な意思決定に至るまでの「本質的に逐次的」な問題は、効率よく並列化できない、順序に依存する計算手順を必要とします。私たちは複雑性理論の枠組みの中でこの区別を形式化し、現在の並列中心のアーキテクチャがそのような課題に対して根本的な制約を持つことを示します。さらに、拡散モデルが逐次的な性質にもかかわらず、本質的に逐次的な問題を解くことができないことを初めて明らかにします。計算の逐次的な性質を認識することは、機械学習、モデル設計、そしてハードウェア開発に深い意味を持つと論じます。