BDH（Dragon Hatchling）論文（arXiv:2509.26507）は、推論中にモデルの重みが更新されるヘッブ型のシナプス可塑性メカニズムを説明しています。公開されたコードでは、共活性化の積を計算して破棄しており、ライトバックは公には実装されていませんでした。私はそれを実装しました。
モデルは、スパースな活性化コードをアドレスとして用い、推論中に自分自身のデコーダ重みを書き換えます。同じトークンは、位置に関係なく常に同じコードを生成します。
統合（v2）： エピソードの高速重みが機能することが分かった次の問いは、信号を壊さずにそれらを低速重みへ書き戻せるかどうかです。密なライトバックはそれを劣化させます。選択的ライトバック（エピソード活動に基づく行上位10%）なら、ほとんど保たれます：
| n2 | n4 | n8 | |
|---|---|---|---|
| Control（統合なし） | 97.2% | 95.5% | 97.4% |
| Dense writeback | 75.4% | 68.1% | 89.8% |
| Selective（rowtop10） | 97.5% | 97.1% | 96.2% |
独立したハードウェア（H100）とシードで検証済みです。対照ベンチマークは91〜95%の範囲にとどまります。
基本メカニズム： ライトバックなしのベースラインは1%（偶然）です。最良のヘッブ型実行は、n2/n4/n8でそれぞれ99.0 / 98.0 / 97.5でした。独立したシード間で再現できています。5つのバグを解決する必要がありました——すべてREADMEに記載しています。
制限： これは合成のn-backの連想想起に対するメカニズム検証です。25Mパラメータモデル。自然言語では検証されていません。次のステップはFineWeb-Eduです。
リポジトリ（Apache 2.0）： https://github.com/fleeb83/bdh-fast-weights
独立研究者で、ラボはありません。質問があれば何でもお答えします。
[link] [comments]
