概要: 本研究では、深層ニューラルネットワークの重み行列に対する、特異値分解に基づく低ランク近似から特異値を除去するための閾値（しきいち）を評価する。各重み行列は、信号行列と雑音行列の和としてモデル化する。低ランク近似は、ランダム行列理論に基づく閾値を用いて、雑音に関連する特異値を除去することで得られる。この閾値の妥当性を評価するために、信号行列と元の重み行列の特異ベクトル間のコサイン類似度に基づく評価指標を提案する。提案する指標は、2つの閾値推定手法を比較するための数値実験に用いられる。
ランダム行列理論に基づくDNNの重み行列に対する特異値しきい値の評価
arXiv stat.ML / 2026/4/10
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ランダム行列理論を用いて、DNNの重み行列の低ランク近似における特異値しきい値の選び方を検討し、信号成分とノイズ成分を分離する方法を扱う。
- 各重み行列を「信号行列」と「ノイズ行列」の和としてモデル化し、「ノイズに関連する」特異値を取り除くことで低ランク近似を得る。
- しきい値が適切かどうかを検証するため、著者らは推定された信号の特異ベクトルと元の重み行列の特異ベクトル間の余弦類似度に基づく評価指標を導入する。
- 数値実験では、提案した余弦類似度の指標を用いて近似の妥当性を判断し、しきい値推定の2つの手法を比較する。
