物理情報ニューラルネットワークの故障モードを緩和する適応型活性化関数のファミリー

要約：物理情報を組み込んだニューラルネットワーク（PINNs）は、近年、強力で柔軟な学習フレームワークとして大きな注目を集めています。それは、科学と工学の広範な問題領域で高い性能を示してきました。同時に、ウェーブレットはその強力な近似能力のため、効率的な計算ツールとして広く用いられてきました。標準的なPINNsで観察される共通の失敗モードに動機づけられ、本研究は適応ウェーブレットベースの新しい活性化関数ファミリーを導入します。提案された活性化関数は、訓練可能なウェーブレット関数と訓練可能または固定の双曲正接関数およびソフトプラス関数を組み合わせることにより、訓練の安定性と表現力を著しく向上させます。PINNフレームワーク内で、5つの異なる活性化関数が開発され、4つの代表的な偏微分方程式（PDE）クラスにわたって体系的に評価されます。棒グラフを用いた包括的な比較は、従来の活性化関数と比較して、頑健性と精度の向上を示しています。さらに、提案手法は、ベースラインのPINNs、PINNsFormerのようなトランスフォーマー系アーキテクチャ、および他のディープラーニングモデルとの直接比較を通じて検証され、その有効性と汎用性が強調されています。