ResBM: 低帯域幅パイプライン並列のための残差ボトルネックモデル

arXiv cs.AI / 2026/4/15

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、分散型の大規模学習における低帯域幅パイプライン並列にネイティブに適したエンコーダ–デコーダ型の残差ボトルネック・アーキテクチャである ResBM（Residual Bottleneck Models）を提案する。
ResBM は、パイプライン境界をまたいで残差ボトルネック・モジュールを配置しつつ、明示的な低ランクの恒等（identity）経路を保持することで、モデルパラメータの一部として組み込まれた形での真のエンドツーエンド学習を可能にする。
著者らは、収束率に大きな低下がないことを示しつつ、128倍のアクティベーション圧縮における最先端の結果を報告している。
さらに ResBM は、重大なメモリまたは計算オーバーヘッドを導入しないと主張し、標準的なトランスフォーマー系アーキテクチャにも適用可能であるとしている。
本研究は、分散型学習における主な残る課題を、通信帯域によって依然として制約されるパイプライン並列であると位置づけ、そのための狙いを定めたアーキテクチャ上の解決策を提示する。

Abstract

大規模な低帯域幅の分散学習の可能性を解き放つことで、これまで活用されてこなかった計算資源を利用できる可能性があります。集中型の環境では、大規模なマルチノード学習は主にデータ並列性とパイプライン並列性によって実現されていますが、これらの2つの手法は超高帯域幅の通信を必要とします。分散データ並列性に対しては、効率的な手法がすでに存在する一方で、パイプライン並列性は依然として主要な課題です。Subspace Models（SM）などの最近の取り組みでは、最大100倍の活性圧縮を達成できると主張されていますが、複雑な制約付き最適化に依存しており、真のエンドツーエンド学習からは逸脱しています。本論文では、低帯域幅通信環境にネイティブであることを最初から前提として設計されたアーキテクチャに基づきつつ、標準的なトランスフォーマー系アーキテクチャに対しても適用可能な、別のアプローチを提案します。このアーキテクチャを、残差ボトルネックモデル（Residual Bottleneck Model）またはResBMと呼びます。ResBMは、パイプライン境界をまたいで残差エンコーダ・デコーダのボトルネック・モジュールを導入し、明示的な低ランクの恒等経路を保持しながら、モデルのパラメータの一部として一括でエンドツーエンド学習できるようにします。ResBMが、収束率に大きな損失をもたらさず、またメモリまたは計算オーバーヘッドも大きく増やすことなく、最先端の128倍の活性圧縮を達成できることを示します。