ベータ・スケジューリング：臨界減衰に由来するモメンタムを、ニューラルネットワーク学習の診断および補正ツールとして用いる

arXiv cs.AI / 2026/4/1

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は「ベータ・スケジューリング」を提案する。これは臨界減衰の調和振動子から導かれる時間変化するモメンタムのスケジュールであり、学習率の現在値を用いて μ(t)=1−2√α(t) として設定され、追加の自由パラメータは導入しない。
ResNet-18/CIFAR-10での実験では、ベータ・スケジュールが一定モメンタム（例：0.9）より約1.9×少ない学習ステップで精度90%に到達する。
この手法は、オプティマイザが異なっても不変な診断シグナルを提供する。層ごとの勾配帰属（gradient attribution）により、モデルをSGDまたはAdamで学習した場合でも同じ3つの問題のある層が特定される。
特定された層に対して「外科的な補正（surgical correction）」を施し、同時に再学習するパラメータは18%に留めることで、62件の誤分類を修正できることが示され、ターゲットを絞った修復の可能性が示唆される。
ハイブリッド手法（初期は物理ベースのモメンタム、後期は一定モメンタム）では、複数の比較スケジュールの中で最速で精度95%に到達する経路が得られ、収束性と実用的な微調整の両面を強調している。

要旨: 標準的なニューラルネットワークの学習では、一定のモメンタム（通常 0.9）が用いられます。これは1964年にまで遡る慣習であり、その最適性についての理論的根拠は限られています。我々は、減衰臨界の調和振動子から時間変化するモメンタムのスケジュールを導出します：mu(t) = 1 - 2*sqrt(alpha(t))。ここで、alpha(t) は現在の学習率です。このベータスケジュールは、既存の学習率スケジュール以外に自由パラメータを必要としません。ResNet-18/CIFAR-10 において、ベータスケジューリングは、一定モメンタムと比べて精度90%に達するまでの収束を 1.9倍高速化します。より重要なのは、このスケジュールにおける層ごとの勾配帰属が、クロスオプティマイザ不変な診断を生み出すことです。モデルが SGD で学習されたか Adam で学習されたかにかかわらず（100%の重なり）、同じ3つの問題となる層が特定されます。これらの層のみを外科的に修正することで、再学習は全パラメータの 18% のみでありながら、62件の誤分類が修正されます。ハイブリッドスケジュール――高速な初期収束のための物理モメンタム、その後最終的な微調整のための一定モメンタム――は、試した5つの手法の中で最速で95%の精度に到達します。主な貢献は、精度の向上そのものではなく、学習済みネットワークにおける特定の失敗モードを局所化し修正するための、原理に基づいたパラメータ不要のツールです。