LASER：効率的な再帰のための低ランク・アクティベーションSVD

要旨: Tiny Recursive Models（TRM）のような再帰型アーキテクチャは、反復的な潜在計算を通じて暗黙的推論を実行しますが、この推論の軌跡における幾何学的な構造は十分に理解されていません。私たちは、再帰のアンロール中におけるTRMのアクティベーション・マニフォールドを調べ、アクティベーションが本質的に線形で低次元の部分空間を占めており、その主方向は安価なパワーイテレーションによって動的に追跡できることを見いだします。これは、重み共有によって反復計算が少数の支配的な固有方向へ集中することを示唆しており、さらにこの集中は計算サイト（computational sites）間で鋭く変化することを示します。私たちはこの構造を活用し、LASER（Low-Rank Activation SVD for Efficient Recursion）—行列を明示的に用いずに部分空間を追跡するマトリクスフリーなサブスペース・トラッキングと、忠実度に基づいてリセットを行う機構により、変化する低ランク基底を維持する動的圧縮フレームワーク—を提案します。これにより、統計的に有意な精度低下を伴うことなく、アクティベーションのメモリを{\sim}60\%削減することを達成します。本解析は、暗黙的推論において再帰型アーキテクチャが表現能力（representational capacity）をどのように配分しているのか、そしてこの集中を潜在計算の効率と安定性の改善に活用できるのか、という問いを提起します。