おもちゃの実験：凍結したPythia-70Mに対し、順伝播由来の高速メモリを使った文脈付きワンショット想起

私は、凍結したオープンウェイトのトランスフォーマーの上に高速メモリを載せる小さな研究／おもちゃの実験を回しています。

動機はシンプルです。通常のトランスフォーマー学習ではバックプロパゲーションと重み更新が必要ですが、文脈内適応は一時的な順伝播メモリのように感じられます。そこで、凍結モデルが十分な幾何学的性質を持っていて、小さな外部メモリがトランスフォーマーの重みを変えずに限定的なワンショット結び付けをできるのかを確かめたかったのです。

---

セットアップ

• モデル： 凍結したEleutherAI/pythia-70m
• 想起中はトランスフォーマーの重みを更新しない
• タスク： 発明した記号的バインディング
• 答えはred、blue、cat、dog のような1トークンラベル
• メモリ書き込みはターゲットの答えを見る
• メモリ読み出しは別の質問プロンプトから貪欲生成する

メモリの値は出力埋め込みの幾何学から計算されます：

value = E[target] - sum_over_tokens p(token | h) * E[token] 

これは、結び付けられた埋め込み（tied embeddings）下での、交差エントロピー出力の補正方向です。つまり、全モデルを通してバックプロパゲーションする代わりに、メモリは順伝播由来の補正ベクトルを保存します。

---

仕組み

key: 発明した単語トークンに対応する隠れ表現の幾何学 value: E[target] - E_p 事実の書き込み文から読み出し read: コサインによるtop-1検索 inject: 生成時の答えの位置に、取得した補正を加える 

---

例のタスク

書き込み例：

ゲームAでは、blicketはred ゲームBでは、blicketはblue 

読み出し例：

質問：ゲームAで、blicketは何？ 答え：red 質問：ゲームBで、blicketは何？ 答え：blue 

つまり、同じ発明した単語でも、文脈によって意味が食い違うことがあります。

---

同一文脈での書き込み／読み出し結果

凍結Pythia-70M、貪欲な完全一致：

モード	書き込み	読み出し	Plain	Unrelated
both_top1	1.000	0.805	0.008	0.000
context_gate	1.000	0.801	0.000	0.000
raw_both_top1	1.000	0.180	0.031	0.000
average	0.484	0.309	0.000	0.000

• both_top1： ゲームAとゲームBの事実を両方含む1つの結合メモリを使い、学習したkeyの幾何学によってtop-1を取得します。
• context_gate： 正しい文脈バンクを選ぶための明示的な上限ゲートです。
• raw_both_top1： 学習済みのkey射影ではなく、素の隠れ状態の類似度です。
• average： 対立するメモリ値を平均します。

面白いのは、both_top1がcontext_gateをほぼ一致させていることです。これは、学習された検索の幾何学が、文脈によって2つの食い違う意味を分離したまま保ち、片方で他方を上書きしていないことを示唆しています。

---

文脈の一般化

次に、文脈の一般化をテストしました。射影器はgame A / game Bで学習しましたが、メモリの書き込み／読み出しは新しい文脈名を使って行いました。

実験	モード	読み出し	Plain	Unrelated
同じゲームA/B	both_top1	0.805	0.008	0.000
同じゲームA/B	context_gate	0.801	0.000	0.000
新しいゲームC/D	both_top1	0.602	0.031	0.000
新しいゲームC/D	context_gate	0.863	0.000	0.000
新しい実験室north/south	both_top1	0.340	0.023	0.000
新しい実験室north/south	context_gate	0.668	0.000	0.000

つまり部分的には一般化しますが壊れやすいです。game C / game D のような様式的に近い文脈への転移は、lab north / lab south のように文脈の言い回しが異なるものへの転移よりもうまくいきます。

---

現在の解釈

これは継続学習を解決するわけではありません。これはおもちゃの課題で、ラベルは1トークンであり、key射影器はバックプロパゲーションで学習されます。しかし、それでも凍結トランスフォーマーが高速メモリにとって有用な局所的幾何学を公開している可能性は示唆されます：

• 記号的なワンショット結び付け
• 文脈に応じた分岐
• 無関係／文脈のない活性化を避ける
• 遅い重みを更新せずに、順伝播由来で答えを補正する

次に検討している実験はデュアルキー・メモリです：

symbol key: これはどの発明した単語か？ context key: どの分岐／世界／フレームがアクティブか？ value: E[target] - E_p 

取得は次のようなものです：

score = symbol_similarity * context_similarity 

あるいは学習された重み付きのバージョンです。

私はここで新規性を主張しているわけではありません。 主に、この方向性がメカニズムとして意味を持つのか、そして、活性化スティアリング、速い重み、軽量な継続／文脈内学習の間に有用な橋があるのかを理解しようとしているところです。