アルゴリズム設計型人工ニューラルネットワーク（ADANNs）：パラメトリック偏微分方程式に対する高次ディープオペレータ学習

Abstract

この記事では、パラメトリック偏微分方程式（PDE）に関連する演算子を近似するための新しい深層学習アプローチを提案します。とりわけ、対象とする近似問題に合わせて作り込まれた、特定の人工ニューラルネットワーク（ANN）アーキテクチャを設計するための新しい戦略を導入します。この戦略は、特定のANN初期化スキームと組み合わせて用いられるものです。提案手法では、効率的な古典的数値近似手法と、深層オペレータ学習の手法を組み合わせます。具体的には、既存のANNアーキテクチャに対するカスタム化された適応と、これらのANNアーキテクチャに対する専用の初期化を導入し、初期化時点で、考察している近似問題に対して選択した効率的な古典的数値アルゴリズムをAN Nが非常に密接に模倣するようにします。こうして得られるANNアーキテクチャとその初期化スキームは、数値アルゴリズムだけでなく文献に見られる一般的な深層学習の手法にも強く触発されています。そのため、導入したANNを、それに合わせて作り込まれた初期化スキームと一緒に、アルゴリズム的に設計された人工ニューラルネットワーク（Algorithmically Designed Artificial Neural Networks: ADANNs）と呼びます。提案するADANN手法を、いくつかのパラメトリックPDEの場合について数値的に検証します。検証した数値例において、ADANN手法は既存の古典的近似アルゴリズムおよび文献にある既存の深層オペレータ学習手法のいずれに対しても有意に優れた性能を示します。