統計レベルおよび内部レベルにおけるLLMの記憶化の比較分析：モデル間の共通性とモデル固有の特徴量
arXiv cs.CL / 2026/3/24
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、複数のLLMファミリー（Pythia、OpenLLaMa、StarCoder、OLMoのバリアント）にわたる記憶化の振る舞いを比較し、共通するものとモデル固有のものを区別することで、先行研究の多くがしばしば単一のモデル系列のみを対象にしていた点に対処する。
- 統計レベルでは、記憶化率がモデルサイズとともに対数線形にスケールすること、記憶化された系列はさらに圧縮可能であること、そして共有された頻度／ドメイン分布のパターンが見いだされる。
- 内部／表現レベルでは、記憶化された系列は特定の摂動に対してより敏感であることを示し、中間層のデコーディングや注意ヘッドのアブレーションによって共通のデコーディング機構と重要な注意ヘッドを特定する。
- 共有された機構がある一方で、重要な注意ヘッドの分布はモデルファミリーごとに異なり、モデル間の共通性に加えてファミリーレベルの署名が存在することが示される。
- 全体として、本研究は、複数の実験的観点を関連づけた発見として統合することで、LLMの記憶化に関するより普遍的で基礎的な理解を支えることを目的としている。
