代数的スペクトル曲線による無料デコンプレッション（Free Decompression）

概要：ランダム行列理論のツールは、スペクトル情報を用いて一般化、ロバスト性、スケーリング、失敗モードをモデル化するためのメカニズムを提供することで、深層学習理論の中心となってきました。多くの場合、経験的な挙動のモデル化は可能ですが、実際の計算は行列サイズによって制限されることが多く、現実的であるには小さすぎるモデルに制約がかかりがちです。これにより、小さなモデルの挙動からより大きなモデルの性質を推論することが動機づけられます。自由分解（FD）は、行列サイズ間でスペクトル情報を外挿するための最近提案された手法ですが、その有用性は現在、より現実的な機械学習（ML）モデルへの実装を妨げるほど強い仮定によって制限されています。本研究では、ストieltjes変換が代数的関係を満たすスペクトル密度に対して、代数的スペクトル曲線理論を用いることで、一般的なFD手法を提供します。これは、実際には成り立つ可能性が高いモデリング仮定です。これによりFDを、スペクトル曲線に沿った進化として言い換えられ、その進化は容易に積分できます。本フレームワークにより、複数または多峰性のバルク（bulk）を持つスペクトル密度、多数のスケールで存在するもの、原子（atom）を含むものを拡張できます。これらは、現実世界のデータや、広く用いられているMLモデルに特徴的です。本研究では、ニューラルネットワークに関連するヘッセ行列および活性化行列、ならびに大規模拡散モデルといった、現代のMLで関心のあるモデルに対して、提案フレームワークの有効性を実証します。