頑健な固有次元推定のためのローカルヘッセ行列スペクトルフィルタリング

arXiv cs.LG / 2026/5/5

📰 ニュースModels & Research

共有:

要点

この論文は、拡散モデルにおけるLocal Intrinsic Dimension（LID）推定の弱点、つまり高次元空間では法線方向からのノイズが接線の信号を支配してしまう問題に焦点を当てています。
提案手法はLocal Hessian Spectral Dimension（LHSD）であり、log-densityのヘッセ行列をスペクトルフィルタリングし、法線方向に対応する大きな固有値を明示的に切り落としてゼロ曲率の接線方向の数を数えます。
LHSDはStochastic Lanczos Quadrature（SLQ）で実装されており、ヘッセ行列の全構築を回避しつつ、次元Dに対して線形スケーリングを達成するとされています。
合成データと実データの実験により、LHSDが既存手法より頑健であること、さらに大規模拡散モデルにおける“memorization（記憶化）”の検出に役立つことが示されています。