カーブチャー整合型プロービングによる局所ロス地形の安定化
arXiv cs.LG / 2026/4/17
📰 ニュースModels & Research
要点
- 本論文は、局所的なロス地形の安定化を観測問題として捉え、集約の次数とプロービング分布で制御される統一的な評価基準のファミリーを提案する。
- その中で、学習済み解の近傍における経験的ヘッセ行列の上位D固有値空間へ損失増分を射影することで、強く異方的なニューラル地形の支配的変形方向を狙うカーブチャー整合型基準（Δ₂^(D)）を導入する。
- 局所2次の損失モデルのみを用いた理論解析により、Δ₂^(D)はフル空間基準と同等のO(k^{-2})の平均二乗収束率を保ちつつ、環境（周辺）次元への依存をサブスペース次元Dへの依存に置き換えることを示す。
- さらに、ヘッセ行列ベクトル積、サブスペース・モンテカルロ、閉形式のガウスモーメント近似に基づくスケーラブルな推定器や、スペクトルの閉形式表現を与える。
- デコーダのみのTransformerでの実験では、パラメータ空間のごく一部に相当するプロービングでも検証された局所領域でフル空間の平均二乗安定化信号を数値誤差の範囲内で再現でき、閉形式推定器はサブスペース構築後に直接モンテカルロより桁違いに高速になることが示される。
