固定点シュレーディンガー型活性を用いた潜在グラフ幾何の学習：理論的研究

arXiv stat.ML / 2026/4/28

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、隠れ層を学習した潜在グラフ上の散逸的シュレーディンガー型ダイナミクスの定常状態として定義するニューラルネットワーク層を提案し、安定分岐上では微分可能な暗黙のグラフ層が得られることを示します。
潜在グラフの学習は、重み付きグラフの成層化モジュライ空間上で最適化し、自然勾配降下や「フェイス・クロッシング」を適切に扱えるように非退化のケーラー・ヘッセ計量を導入する形で行われます。
複数層の定常ネットワークが、構成した「スープラグラフ」上の厳密な全体定常問題と同値であり、さらに罰則付きの全体緩和も、罰則パラメータを無限大に近づけると厳密解へ定常状態が収束することが示されます。
逆伝播に相当する逆モード微分は、全体システムの随伴（アジョイント）として復元され、罰則付き随伴も同じ極限で一致すると証明されています。
強単調性と許容リフトの仮定のもとで、複数のアーキテクチャ系（resolvent feed-forward、graph-stationary、supra-graph stationary、ユニタリ接続を持つ層（シーフ）ベース）において仮説クラスが一致することが確立され、密な周辺結合ではなく疎なグラフ／スープラグラフ幾何に基づく複雑性境界が得られると述べています。

Abstract

本研究では、各隠れ層が、学習された潜在グラフ上の散逸的なシュレーディンガー型ダイナミクスの定常状態によって定義されるニューラルアーキテクチャを調べる。安定な分枝においては、局所的な定常問題が微分可能な暗黙グラフ層を与える。グラフそのものを学習するために、重み付きグラフの階層化されたモジュライ空間上で最適化し、各成層に対して、自然勾配降下と面の交差（face crossing）が適切に定式化されたまま保たれる非退化のK"ahler-Hessian計量を与える。次に、多層定常ネットワークが、超グラフ上の厳密な全局定常問題と同値であること、さらにそれが、罰則付きの全局緩和を許し、その定常状態が罰則パラメータが無限大へ向かう極限で厳密なものへ収束することを示す。逆伝播モードの微分は、厳密な全局系の随伴（adjoint）として回復され、罰則付き随伴も同じ極限でこれに収束する。最後に、有限次元の強単調性および許容可能なリフト（admissible-lift）仮定のもとで、対応する表現された仮説クラスは、レスォルベント・フィードフォワードネットワーク、グラフ定常ネットワーク、超グラフ定常システム、およびユニタリ接続を持つ層（sheaf）ベースのアーキテクチャの間で一致する。得られる構造的同定により、複雑度の上界は、高密度な周辺（ambient）接続ではなく、疎なグラフまたは超グラフの幾何により制御される。