記憶化中の潜在的一般化のダイナミクスと転移性
arXiv cs.LG / 2026/3/23
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は記憶化の訓練ダイナミクスを調査し、モデル表現における潜在的一般化が全体的な一般化とともに訓練の初期段階でピークに達することを示している。
- 潜在的一般化を抽出するために用いられる MASC プローブは二次（非線形）の分類器であり、この潜在情報が層ごとの出力から線形にデコード可能かどうかという疑問を提起している。
- 層表現から潜在的一般化を線形に抽出できる程度を検証するための新しい線形プローブが設計されている。
- 著者らは、線形プローブに導かれて、モデルの重みを編集することで潜在的一般化を実際のモデル一般化へ転移させる方法を提案している。
広告
