ZipCCL：LLMトレーニングを加速するための通信コレクティブに対する効率的な可逆データ圧縮

アブストラクト: 通信は、大規模言語モデル（LLM）の分散学習における重要なボトルネックとして浮上している。通信オーバーヘッドを削減するために数多くのアプローチが提案されてきた一方で、可逆圧縮の可能性は、圧縮と復号が通常、通信トラフィック削減による利得よりも大きなオーバーヘッドを要するため、ほとんど未検討のままであった。われわれは、学習中の通信データ（活性値、勾配、パラメータを含む）が、ほぼガウス分布に従うことが多いことを観察しており、これはデータ圧縮にとっての重要な特徴である。そこで本研究では、LLM学習のための集団通信（collectives）に対応した可逆圧縮通信ライブラリであるZipCCLを提案する。ZipCCLには、以下の新しい技術が搭載されている：(1) LLMテンソルのガウス分布を活用して、高価なオンライン統計を用いずに圧縮を高速化する、理論的に裏付けられた指数符号化、(2) メモリアクセスパターンと、通信を意識したデータレイアウトを用いたパイプラインを慎重に設計する、GPU最適化された圧縮・復号カーネル、(3) ワークロードのパターンとシステム特性に基づいて、集団通信演算を動的に切り替える適応的な通信戦略。混合専門家（mixture-of-experts）モデルと密なトランスフォーマーモデルの両方を用いて64-GPUクラスターで評価した結果、ZipCCLは通信時間を最大1.35\times削減し、モデル品質に一切影響を与えることなく、エンドツーエンドの学習速度を最大1.18\times向上させることを達成した。