階層的推論モデルの背後にある動的システム理論
arXiv cs.AI / 2026/3/25
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、既存のLLM型のシーケンス生成や、さらに過去の推論モデル（HRM/TRM）でさえも、不安定、または十分に根拠づけられていない学習ダイナミクスにより、複雑なアルゴリズム的推論では失敗し得ると主張する。
- 階層的／再帰的推論を、安定した平衡点に向けた収束を明示した連続的なNODE/NSDEの潜在ダイナミクスへと再定式化することで、Contraction Mapping Model（CMM）を導入する。
- 表現上の失敗を防ぐために、本手法では学習中の特徴崩壊（feature collapse）を緩和することを意図した、超球面反発（hyperspherical repulsion）ロスを用いる。
- Sudoku-Extremeベンチマークにおいて、5MパラメータのCMMは93.7%の精度を達成し、より大規模なモデルや既存の階層モデルを大きく上回る。また、極端な圧縮（0.26Mパラメータ）下でも依然として強い性能を示す。
- 著者らは、これらの結果が、総当たり的なパラメータスケーリングをやみくもに増やす代わりに、数学的に根拠づけられた潜在ダイナミクスによって堅牢な推論エンジンを置き換える方向性を示していると主張する。
広告
