アソシエイティブ状態ユニバーサル・トランスフォーマー：スパース検索が構造化された再帰と出会う

要旨: 本研究では、構造化された再帰的状態が、言語モデリングのためのコンパクトな連想的バックボーンとして機能しつつ、正確なリトリーブ（厳密な検索）も引き続きサポートできるかどうかを検討する。共有された再帰ブロックを深さ全体で再利用し、ハイブリッドな状態更新、ROSAスタイルの残差パス、トークン条件付き埋め込みモジュレーションを組み合わせて強化する、Universal Transformer 系のファミリーである UniMatrix を提案する。我々はこれらのモデルを、バイトレベルの WikiText-2、合成の連想リコール、Apple MPS 上でのスループット計測、およびトリプルトークン相互作用のための修正済みベンチマークで評価する。
小規模では、UniMatrix-Core と UniMatrix-ROSA は、パラメータ数を一致させた Transformer よりもわずかに優れており、用いるパラメータははるかに少ない。その結果として、WikiText-2 では 5.084 および 5.083 bits-per-byte となり、5.124 に対して良好である。主な否定的結果も同様に重要である。すなわち、連想リコールにおいて元の UniMatrix ファミリーは依然として偶然に近い一方、Transformer は 25.4 パーセントに到達し、圧縮された再帰的状態だけでは厳密なルックアップには不十分であることが示される。検索志向の追試である UniMatrix-Assoc は、改善をわずかにしかもたらさない。これに対して、疎なスロットのルーティングと直接的な pointer-logit の融合を追加する UniMatrix-SparsePointer は、元のパイロット手順で 75.6 パーセント、ドロップアウトなしの追試で 99.2 パーセントを達成し、Transformer のベースラインよりパラメータ数を 53.8 パーセント少なく使用する。アブレーションにより、その利得は十分なスロット容量と、ポインタ・レベルの出力ルーティングを厳密に行えることに由来することが示される。総合すると、構造化された再帰的状態は有望でありパラメータ効率も高いが、強い長距離挙動にはなお明示的な疎なリトリーブと、より良いカーネルが必要である。