時間を超えたクロスコーディング：LLM事前学習における言語表現の出現と統合を追跡する

要旨: 大規模言語モデル（LLM）は、前学習の間に、不規則な複数形の名詞主語を検出するといった、単純ではない抽象化を学習する。しかし、従来の評価手法（例：ベンチマーク）が、モデルがこれらの概念や能力をどのように獲得するのかを明らかにできないため、これらの特定の言語能力がいつ、どのようにして出現するのかは十分に理解されていない。このギャップを埋め、概念レベルでのモデル学習をより深く理解するために、疎なクロスコーダを用いて、モデルのチェックポイント間で特徴を発見し、整合させる。我々はこのアプローチを用いて、前学習中の言語的特徴の進化を追跡する。具体的には、性能と表現の変化が大きい、公開されたチェックポイントのトリプレット間でクロスコーダを学習し、さらに、個々の特徴が課題の性能に因果的に重要になる訓練段階を追跡するための新しい指標である相対的間接効果（RelIE）を導入する。その結果、クロスコーダは前学習中に、特徴の出現、維持、そして中断を検出できることを示す。我々の手法はアーキテクチャに依存せず、かつスケーラブルであり、前学習を通じた表現学習を、より解釈可能で細粒度に分析するための有望な道筋を提供する。