UNDO フリップフロップ：状態空間モデルにおける可逆的なセマンティック状態管理のための制御されたプローブ
arXiv cs.LG / 2026/4/8
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、標準的なフリップフロップを拡張し、非単調な更新下で可逆的なセマンティック状態の取得を要求する UNDO フリップフロップ課題を導入する。
- 1層および2層の Mamba-2 に関する実験では、証明可能に表現可能な有界スタックのロールバック挙動を学習できないことが一貫して示され、その代わりに局所的なトグル（切り替え）というヒューリスティックに収束する。
- 対抗的なリトラクション（巻き戻し）圧力のテスト（学習時の長さ分布の範囲内）では、2層モデルの性能が 41.10% の精度まで崩壊し、ランダム当てよりも下回る。
- 因果的なアブレーション（要素除去）により、ボトルネックは保存ではなく取得にあることが示され、アーキテクチャの表現力と、勾配ベース最適化が確実に発見できるものとの間にギャップがあることが強調される。
- 著者らは、理論的な表現力の結果だけでは、状態空間モデルにおける可逆的セマンティック状態管理の実際の学習成功を予測するには不十分だと主張する。
