Physics-Guided Transformer (PGT): PINN向け物理を意識した注意機構

Abstract

疎で不規則な観測から連続的な物理場を再構成することは、科学的機械学習における中核的な課題であり、特に偏微分方程式（PDE）により支配されるシステムにおいて重要です。既存の物理インフォームド手法では、多くの場合、支配方程式を最適化中のソフトなペナルティ項として強制し、その結果として勾配の不均衡、不安定性、データが限られる場合の物理的一貫性の低下が生じがちです。本研究では、自己注意メカニズムに物理的構造を直接埋め込むニューラルアーキテクチャであるPhysics-Guided Transformer（PGT）を提案します。具体的には、PGTは注意ログitに対して熱核（heat-kernel）由来の加法バイアスを組み込み、拡散ダイナミクスと時間的因果性を表現の中に符号化します。クエリ座標は物理条件づけされたコンテキスト・トークンに注意を向け、得られた特徴は、スペクトル応答を適応的に制御するFiLM変調された正弦波（sinusoidal）系の暗黙的ネットワークによりデコードされます。PGTを、1次元の熱方程式および2次元の非圧縮Navier-Stokesシステムで評価します。100観測点による疎な1D再構成では、PGTは相対L2誤差5.9e-3を達成し、PINNと正弦表現の両方を大きく上回ります。2D円柱後流問題では、PGTは唯一、低いPDE残差（8.3e-4）と競争力のある相対誤差（0.034）の両方を同時に達成し、いずれか一つの目的のみを最適化する手法を上回ります。これらの結果は、注意の中に物理を埋め込むことで、データが乏しい状況における安定性、汎化、そして物理的忠実性が向上することを示しています。