Abstract
大規模言語モデル（LLM）は、数万〜数十万トークンから成るプロンプトを処理する必要がある長文脈タスクにおいて、非常に大きな有用性を示します。しかし、既存のLLM学習ライブラリは、長文脈学習のための最適化に向けた、使いやすい抽象化を提供していません。代わりに、ZeRO-3/FSDP、テンソルおよびパイプライン並列といった、大規模なパラメータ数を持つモデル向けの最適化に焦点を当てています。これにより、ユーザは、学習パイプラインに対して、シーケンス並列性などのさまざまで複雑な長文脈最適化の組み合わせを取り込むために、LLM学習ライブラリを書き換える必要が生じます。このプロセスには深い専門知識が要り、開発者の生産性が低下します。これらの課題に取り組むために、私たちはAutoSPを提案します。AutoSPは、長文脈に対してLLM学習を自動的に最適化する最初の自動化ソリューションです。AutoSPはモデルをコンパイルし、狙いを定めた一連の最適化を適用します。すなわち、自動シーケンス並列性と、長文脈に配慮したアクティベーション・チェックポイントです。これにより、スループットへのコストをほぼ無視できる形で、LLMの学習可能性（trainability）を大幅に向上させます。評価の結果、AutoSPはNVIDIAおよびAMDの両方のハードウェア上でその能力を示し、ランタイム性能へのコストがほぼ無い状態で、競合する手書きのベースラインに比べて学習コンテキストをそれぞれ最大2.7\timesおよび2.5\timesまで増加させることがわかりました。
