機能が形を決める：再帰的ステムモデル

要約: 再帰的推論モデルである階層的推論モデル（HRM）および Tiny Recursive Model（TRM）などは、重みを共有する小さなネットワークが潜在状態を反復的に洗練させることにより、計算負荷の高いNPパズルを解くことができることを示す一方、トレーニングは通常、深層監督および/または長いアンロールに依存し、それが実時間コストを増加させ、モデルを中間の貪欲な挙動へ偏らせる可能性がある。私たちは Recursive Stem Model（RSM）を紹介する。これは TRM 風のバックボーンを維持しつつ、学習契約を変更してネットワークが安定した深さ依存しない遷移演算子を学習する再帰推論アプローチである。RSM は学習中に隠れ状態の履歴を完全に切り離し、初期の反復を切り離された「ウォームアップ」ステップとして扱い、最終ステップでのみ損失を適用する。我々はさらに外側の再帰深さ H と内側の計算深さ L を独立に拡大し、深さを増す際の不安定性を緩和するために外側遷移を確率的に行うスキーム（H に対する確率的深さ）を用いる。これにより、二つの重要な能力が生まれる：(i) >20\times 程度高速な学習で TRM より精度を向上させる（誤差を約 5\times 減少）、(ii) テスト時のスケーリングで推論を任意の回数の改良ステップで実行できる（約 20{,}000 H_{ ext{test}} \gg 20 H_{ ext{train}}）、再学習なしで追加の「思考」を可能にする。Sudoku-Extreme では、RSM はテスト時推論で 97.5% の厳密正確さに到達し、単一の A100 で約1時間の学習で達成される、Maze-Hard（30 \times 30）では、注意機構を用いたインスタンス化を用いて約40分で約80% の厳密正確さに到達する。最後に、RSM が反復的な収束プロセスを実装するため、収束挙動は簡潔でアーキテクチャ固有の信頼性指標を提供する。収束しない軌道はモデルが実用的な解に到達していないことを警告し、幻覚の抑制につながる可能性がある。一方、安定した固定点は実務的な正確性検証のためにドメイン検証器と組み合わせて使用できる。