要旨: 標準的な非線形偏微分方程式（PDE）に対する単層の Physics-Informed Neural Networks（PINN）が示す経験的スケーリング法則を確立します。私たちは二重の最適化の失敗を特定します: (i) 基準的な病理として、解の誤差がネットワーク幅の増加に伴って減少せず、固定された非線形性の下でも理論的近似境界を下回る、(ii) 非線形性によってこの失敗が悪化する複合的な病理。単純な分離可能なべき乗則が不十分であることを定量的に示し、スケーリング挙動がより複雑で非分離的な関係によって支配されることを示します。この失敗はスペクトル・バイアスの概念と整合しており、非線形性が強まるとともに高周波の解成分を学習するのが難しくなるため、ネットワークがそれらを学習するのに苦労します。最適化、すなわち近似容量ではなく、最適化が主要なボトルネックであることを示し、これらの複雑なスケーリング効果を実験的に測定する方法論を提案します。
単層PINNのスケーリング法則と病理: ネットワーク幅とPDEの非線形性
arXiv cs.LG / 2026/3/16
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、カノニカルな非線形PDE上での単層PINNに対する経験的スケーリング法則を確立し、2つの最適化病理を同定する。1つは幅を広げても誤差の低減につながらないベースラインの病理、もう1つは非線形性がこの失敗を悪化させる病理である。
- スケーリングを記述するには、単純な分離可能なべき法則では不十分であり、その関係はより複雑かつ非分離的である。これは、非線形性が強まるにつれて高周波成分に対する解のスペクトルバイアスが強まることと一致している。
- 著者らは、PINNをスケールさせる際の主なボトルネックは近似能力ではなく最適化であると主張し、これらの複雑なスケーリング効果を経験的に測定する方法論を提案する。
- 本研究の結果は、非線形PDEのPINNを設計・訓練する際の示唆を与え、最適化戦略の改善がより良い性能を生み出す可能性がある点を強調している。
