拡散オペレータの幾何学：フィードフォワード表現の解析

概要: ニューラルネットワークは、学習された表現によってデータを変換し、その幾何が分離、収縮、そして汎化に影響を与える。近年の研究では近傍グラフ上の離散曲率によってこの幾何を調べており、層をまたいでリッチフローのような振る舞いが見られることを示唆している。我々は、フィードフォワード表現スナップショットに対する、滑らかな演算子論的な代替手法を開発する。各特徴クラウドはガウス核の拡散マルコフ作用素を誘起し、輸送、スペクトル、ラベル境界、局所スケールといった観測量は、この単一の対象から Bakry-Emery \Gamma-calculus によって導出される。共有された共分散を伴う、バランスのとれたガウス条件付きクラスのスナップショットモデルでは、母集団作用素は閉形式のクラス親和性、リーク、および粗いスペクトルを持ち、それらはペアごとに正則化されたマハラノビス分離 c_\varepsilon^{(a,b)} によってすべて制御される。また、得られた作用素の観測量が特徴の摂動のもとで滑らかに変化することを証明する一方で、ハードな近傍グラフに基づく診断は不連続に変わり得る。合成実験では閉形式のガウス・ブリッジを検証し、学習したMNISTの実験では、同じ作用素の観測量が学習、幅、および摂動安定性を追跡することを示す。これらの結果は、フィードフォワード表現の幾何を解析するための安定した作用素—幾何学的枠組みを与える。