要旨: 高次元および高次の偏微分方程式（PDE）に対する物理情報ニューラルネットワーク（PINNs）は主に、空間微分の複雑度が
abla
\mathcal{O}(d^k) であること、および逆伝播（BP）のメモリオーバーヘッドが
abla であることによって制約されています。ランダム化した空間推定器は空間複雑度を
\mathcal{O}(P)
abla
\mathcal{O}(1) に減らすことに成功していますが、それらは依然として一次（first-order）最適化に依存しているため、大規模化するとメモリ消費が過大となります。ゼロ次（ZO）最適化はBPフリーの代替手段を提供しますが、ランダム化した空間演算子をZO摂動と素朴に組み合わせると、
abla の分散爆発が引き起こされ、数値発散に至ります。これらの課題に対処するため、次元非依存の複雑度を空間とメモリの両方で実現する統一的枠組みである、\textbf{S}tochastic \textbf{D}imension-free \textbf{Z}eroth-order \textbf{E}stimator（\textbf{SDZE}）を提案します。具体的には、SDZEは \emph{Common Random Numbers Synchronization (CRNS)} を活用し、摂動間で空間ランダムシードを固定することで、分散の
\mathcal{O}(1/\varepsilon^2)
abla
\mathcal{O}(1/\varepsilon^2) を代数的に打ち消します。さらに、\emph{implicit matrix-free subspace projection} を導入して、パラメータ探索における分散を
abla から
\mathcal{O}(P)
abla
\mathcal{O}(r) へ削減しつつ、オプティマイザのメモリフットプリントを
abla に保ちます。実験結果により、SDZEは単一のNVIDIA A100 GPU上で1,000万次元のPINNの学習を可能にし、最先端のベースラインに比べて速度とメモリ効率が大幅に向上することが示されます。
\mathcal{O}(1)
高次元・高次のPINN向けの確率的次元非依存ゼロ次推定器
arXiv cs.LG / 2026/3/26
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、通常のO(d^k)の空間微分や大きな逆伝播メモリコストを伴わずに、高次元かつ高次のPDEに対してPhysics-Informed Neural Networks（PINN）を学習するためのSDZE（Stochastic Dimension-Free Zeroth-Order Estimator）を提案する。
- ランダム化された次元非依存の空間推定と、逆伝播不要（BP-free）のゼロ次（zeroth-order）最適化を組み合わせるが、Common Random Numbers Synchronization（CRNS）により摂動のランダム性を同期させることで生じる分散の爆発（O(1/ε^2)）を解消する。
- SDZEはさらに、暗黙的な行列フリー部分空間射影を追加し、パラメータ探索の分散をO(P)からO(r)へ削減しつつ、オプティマイザのメモリ使用量をO(1)に保つ。
- 著者らは、単一のNVIDIA A100 GPU上で、極めて大規模なPINN（最大1,000万次元）を学習できることを実証的に示し、既存ベースラインに比べて速度とメモリの顕著な改善が得られたと報告している。
