State Stream Transformer（SST）V2：潜在空間の推論のための非線形リカレンスの並列学習

要旨: 現在のコンテキスト変換器（カレント・トランスフォーマー）は、位置間で豊かな潜在残差ストリームを捨ててしまい、各新しい位置ごとに潜在的な推論コンテキストを再構成することで、潜在的な推論能力が十分に活用されない状態になっています。State Stream Transformer（SST）V2 は、各デコーダ層における FFN 駆動の非線形再帰によって、連続的な潜在空間でのパラメータ効率の高い推論を可能にします。このとき、学習されたブレンドにより潜在状態を全シーケンスにわたって横方向にストリーミングします。同じ仕組みにより、推論時には各位置ごとの連続的な潜在的熟慮（deliberation）が支えられ、トークンを確定する前に抽象的な推論を探索するための追加の FLOPs を割り当てます。2 パスの並列学習手続きにより、再帰の逐次的な依存関係が解消され、計算効率の高い学習が可能になります。隠れ状態の分析から、状態ストリームが連続的な潜在空間における異なる意味的バシンの探索を通じて推論を促進することが示されます。内容に依存した位置での遷移は、モデルを実質的に異なるベイズ事後分布へと移行させ、将来の位置における潜在空間へ直接的に影響します。また、学習済みプローブにより、生成される最初のトークン位置では、以降の各位置で追加の潜在計算を行ったときに最終的な答えが維持されるか、それとも破綻するかを、潜在状態がすでに予測していることも分かりました。GSM8K の例からなる小規模データセットのみを用いて、既存の 27B バックボーンに共同学習させることで、SST は、アウト・オブ・ディストリビューションの GPQA-Diamond において、微調整に一致させたベースラインに対して +15.15 ポイントの向上を達成し、同じベースラインの残りの GSM8K における誤りを 46% 削減します。これらは、推論の改善がスケールや学習データではなく、アーキテクチャ上の仕組みに起因することを示しています。GPQA-Diamond では、この結果得られた 27B SST は、25 倍まで大きい open-weight モデルを含む、いくつかのより大きな open-weight および独自（プロプライエタリ）のシステムよりも高い精度も達成しています。