EquiformerV3：効率的で表現力豊か、かつ一般的なSE(3)同変グラフ注意トランスフォーマーのスケーリング

要旨: SE(3)-同変グラフニューラルネットワークが3D原子論的モデリングの中核的手法として成熟するにつれ、その効率性、表現力、物理的整合性を向上させることは、大規模アプリケーションにおける中心的課題となっています。本研究では、3つの側面すべて――効率性、表現力、汎用性――を推し進めるために設計された、SE(3)-同変グラフ注意Transformerの第3世代であるEquiformerV3を導入します。EquiformerV2に基づき、以下の3つの主要な進展があります。第一に、ソフトウェア実装を最適化し、1.75\timesの高速化を達成しました。第二に、同変マージド層正規化、フィードフォワードネットワークの改善されたハイパーパラメータ、滑らかな半径カットオフを伴う注意機構など、EquiformerV2に対して単純かつ効果的な修正を導入しました。第三に、より良い理論的表現力のために多体相互作用を取り込むとともに、S^2グリッドのサンプリングに伴う複雑さを抑えつつ厳密な同変性を保持する、SwiGLU-S^2活性化関数を提案します。SwiGLU-S^2活性化関数とスムーズカットオフ付き注意機構は、滑らかに変化するポテンシャルエネルギー曲面（PES）を正確にモデリングできることを可能にし、EquiformerV3を、エネルギー保存型のシミュレーションや、PESのより高次の導関数を必要とするタスクへと拡張します。これらの改善により、不平衡構造のデノイズ（DeNS）という補助タスクで学習したEquiformerV3は、OC20、OMat24、およびMatbench Discoveryにおいて最先端の結果を達成します。