高精度物理インフォームドニューラルネットワークのための曲率を考慮した最適化

要旨: 効率的で堅牢な最適化はニューラルネットワークにとって不可欠であり、科学的機械学習モデルが微分方程式によって支配される複雑な物理挙動を忠実に捉えながら、非常に高い精度へ迅速に収束できるようにします。本研究では、困難な偏微分方程式（PDE）および常微分方程式（ODE）に対する物理情報ニューラルネットワーク（PINN）の収束を加速するための高度な最適化戦略を提示します。具体的には、自然勾配（NG）オプティマイザ、セルフスケーリングBFGS、ならびにブロイデン（Broyden）オプティマイザの効率的な実装を提供し、ヘルムホルツ方程式、ストークス流れ、無粘性バーガーズ方程式、高速流に対するオイラー方程式、さらに薬物動態学および薬力学から生じる硬いODEを含む問題でそれらの性能を実証します。オプティマイザの開発にとどまらず、無粘性バーガーズ方程式およびオイラー方程式を解くための新しいPINNベース手法も提案し、得られた解を高次の数値手法と比較することで、厳密で公正な評価を行います。最後に、バッチ学習のためにこれらの準ニュートン型オプティマイザをスケールさせるという課題に取り組み、大規模なデータ駆動型問題に対して効率的かつスケーラブルな解を可能にします。