BASIS：不変スカラーによるバランスド・アクティベーション・スケッチング—「ゴースト・バックプロパゲーション」

要旨: 正確なバックプロパゲーションに必要な活性メモリは、ネットワークの深さ、コンテキスト長、および特徴次元に対して線形にスケールし、O(L * BN ) という空間的ボトルネックを形成します（ここで、B はシーケンス・バッチのカーディナリティ、N は特徴次元です）。この制約は歴史的に、深いニューラルネットワークのスケーリングを抑制してきました。ランダム化された自動微分によってこれを軽減しようとする試みもありますが、歴史的には壊滅的な分散（catastrophic variance）に悩まされてきました。本論文では、BASIS（Invariant Scalars を伴うバランスド活性スケッチング）という効率的なバックプロパゲーション手法を提案します。BASIS は、活性メモリをバッチ次元およびシーケンス次元から完全に切り離します。BASIS は、誤差信号（dX）を正確に伝播して完璧な勾配フローを維持しますが、重み更新（dW）は大幅に圧縮された階数 R のテンソルを用いて計算します。スケッチされた勾配の基礎的な不安定性を解決するために、2 つの新しい機構を提案します。オフ対角の衝突による分散を厳密に排除する Balanced Hashing と、空間的幾何の連続エネルギー不変ノルムを決定論的に保存するという、原理に基づくバイアス分散トレードオフである Invariant Scalars です。理論的には、BASIS は活性メモリを O(L * RN ) に削減し、後方パスの行列乗算のフットプリントを大幅に低減します。実験的には、50,000 ステップにわたって GPT アーキテクチャを学習することで、理論的保証が検証されます：R = 32 では、BASIS は正確なバックプロパゲーションと同等（そしてわずかに上回る）検証損失（6.575 対 6.616）を達成し、暗黙の正則化として機能します。特筆すべきことに、安定化された大きさの軌跡により、極端な空間圧縮（R = 1）下でもモデルは滑らかに収束し、推定器の極めて高い頑健性が示されます。コードは https://github.com/VladimerKhasia/basis で公開されています