オロボロス：再帰的トランスフォーマーに対する入力条件付きLoRAモジュレーションによる動的重み生成
arXiv cs.LG / 2026/4/3
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- Ouroborosは、再帰的トランスフォーマー向けの入力条件付き「Controller」ハイパーネットワークを導入し、再帰の各反復ごとに対角モジュレーションベクトルを生成することで、各深さステップが隠れ状態に依存した異なる変換を実行できるようにする。
- この手法では再帰的トランスフォーマーの主要な重みを凍結したまま、SVDで初期化したLoRA基底を各ステップごとにモジュレーションし、学習可能パラメータを追加で9.2Mに抑えつつ、入力依存の深さ挙動を可能にする。
- ゲート付きの再帰（強い初期保持バイアス付き）と、ステップごとのLayerNormにより、安定性と効果的な深い反復が改善される。論文では、ゲート付き再帰が不可欠であり、それを取り除くと性能が低下することが報告されている。
- Qwen2.5-3Bの「Prelude/Recurrent/Coda」セットアップにおいて、層の一部を保持する設定で、Ouroborosは修正なしの17層ベースラインに比べて学習損失を43.4%削減し、層を削除したことで失われた性能の51.3%を回復する。
- 強力な学習分布の改善が得られているにもかかわらず、Controllerは現時点では保持（held-out）テキストでベースラインを上回らない。著者らは、下流側の層が凍結されていることが要因だとし、さらに分析している。
