要旨: 従来のニューラルネットワークでは、学習と推論を厳密に分離します。というのも、推論中にパラメータが更新されると出力が不安定になり、さらには推論関数そのものが適切に定義できないからです[1, 2, 3]。本論文では、DynamicGate MLPが構造的に学習と推論の並行性を可能にすることを示します[4, 5]。中核となる考え方は、ルーティング（ゲーティング）パラメータと表現（予測）パラメータを分離し、その結果、ゲートをオンラインで適応させつつ推論の安定性を保持すること、または重みを不活性な部分空間のみに選択的に更新することです[4, 5, 6, 7]。本論文では、並行性のための十分条件を数学的に形式化し、非同期または部分的な更新が行われている場合でも、各時点における推論出力は常に、有効なモデルスナップショットに対する順方向計算として解釈できることを示します[8, 9, 10]。これは、DynamicGate MLPがオンライン適応およびデバイス上の学習システムのための実用的な基盤となり得ることを示唆しています[11, 12]。
DynamicGate MLPにおける推論同時実行（Inference Concurrency）の学習：構造的および数学的正当化
arXiv cs.LG / 2026/4/16
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、標準的なニューラルネットワークでは推論中にパラメータを安全に更新できないと主張している。これは、推論関数が定義不可能になり、出力が不安定になるためである。
- そこで、ルーティング（ゲーティング）パラメータと表現（予測）パラメータを分離することで、推論を不安定化させずにオンライン適応を可能にする構造的な回避策としてDynamicGate MLPを提案する。
- 著者らは、非同期更新や部分的更新といった状況を含め、学習と推論の同時実行が適切に定義されるための数学的な十分条件を示す。
- さらに、更新が発生していても、各時刻ステップにおける出力は、有効なモデルの「スナップショット」の順伝播として解釈できることを示す。
- 本研究は、DynamicGate MLPを、オンライン適応型およびデバイス上学習システムのための実用的な基盤として位置づける。
