よりスパースに、より高速に、より軽量なトランスフォーマ言語モデル

要旨: 自己回帰型の大規模言語モデル（LLM）のスケーリングは前例のない進歩をもたらしてきましたが、その一方で計算コストは膨大です。本研究では、LLMのフィードフォワード層内に存在する非構造的スパース性を活用することで、これらのコストに取り組みます。フィードフォワード層は、モデルパラメータの大部分と実行時のFLOPsの大部分を担う構成要素です。これを達成するために、新しいスパース・パッキング形式を導入し、さらに、現代のGPUの最適化された実行パイプラインにシームレスに統合できるよう設計した一連のCUDAカーネルを提案します。これにより、LLMの推論および学習中に効率的なスパース計算を実現します。得られる利得を裏付けるために、LLMのスパース性に関する定量的な調査を行い、単純なL1正則化によって、下流の性能への影響がほとんどないまま99%超のスパース性を誘発できることを示します。さらに、これらのカーネルと組み合わせることで、このようなスパース性の水準が、モデル規模の増大に伴って向上する、実質的なスループット、エネルギー効率、およびメモリ使用量の利点へとつながることを示します。現代の基盤モデルの効率性とスケーラビリティを改善するための実用的な軸としてスパース性を確立することに向けて、導入を促進し研究を加速するために、すべてのコードとカーネルをオープンソースライセンスのもとで公開します。