[R] 小規模言語モデルにおける原始レイヤーに関する経験的証拠 — 4つのアーキテクチャにわたる18の実験

私たちは、ランダムな音素からWierzbickaの普遍的意味素までの入力を用いて、小規模言語モデル（360M–1Bパラメータ）を対象に18件の実験を実施しました。

主な発見: レイヤー0a（足場プリミティブ: SOMEONE, TIME, PLACE）とレイヤー0b（内容プリミティブ: FEAR, GRIEF, JOY, ANGER）の間には一貫した活性化ギャップが存在します。このギャップは、検証された4つのアーキテクチャ全体で平均して+0.245となり、すべてのモデルで方向性が一貫していました。

加えて、11件の事前登録済みプリミティブ組み合わせ（演算子 + シード）が、3/4のモデルでレイヤー1の概念と一致しました — 例: WANT + GRIEF → 憧れ/渇望、TIME + NOSTALGIA → 記憶/回想、FEEL + GRIEF → 心の痛み/悲嘆。

スケーリングパターンは、私たちが最も不確かな発見でありながら最も興味深いと感じるものです。ギャップは最も小さなモデルで最も大きく、規模が大きくなるにつれて狭まります — 内容プリミティブが弱くなるわけではなく、より大きなモデルが足場プリミティブへの現象論的アクセスも発展させるためです。これがスケール時の能力跳躍を部分的に説明するかもしれません。

すべての実験は Ollama を使ってローカルで再現可能です。APIキーは不要です。コードとデータはリポジトリにあります。

論文: https://github.com/dchisholm125/graph-oriented-generation/blob/main/SRM_PAPER.md

リポジトリ: https://github.com/dchisholm125/graph-oriented-generation

私たちが認識している制限事項: 各プリミティブごとのサンプル数が小さいこと、分類器は測定対象と同じクラスのモデルであること（循環性）、機械的説明は完全に未解決であること。私たちは予備的な所見を公表しているだけで、決定的な主張をしているわけではありません。