キング・ウェン列の統計的性質：学習には結びつかない、反ハビチュエーション（慣れの抑制）構造
arXiv cs.LG / 2026/4/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本研究は、モンテカルロによる置換検定を用い、100,000個のランダム基準と比較することで、キング・ウェン列を厳密に統計的に特徴づけ、4つの有意な構造的性質を特定する。
- 著者らは、これらの性質が（見た目にはカリキュラム学習や好奇心駆動型の探索を想起させるものの）ニューラルネットワークの学習を改善し得るかを検証する。
- NVIDIA RTX 2060（PyTorch）およびApple Silicon（MLX）上で、3つの実験（学習率スケジュールの変調、カリキュラム順序、シード感度分析）を通じて、キング・ウェン順序を学習ダイナミクスとして用いることの効果は一貫して否定的な結果となる。
- 学習率をキング・ウェン構造に基づいて変調すると、テストした全ての振幅で性能が低下し、カリキュラム順序は片方のプラットフォームでは最悪の結果となり、もう片方ではノイズの範囲内にとどまる。
- 本論文は、列の特徴的な高い分散が勾配ベースの最適化を不安定化させると主張し、固定された組合せ順序における反ハビチュエーションは有効な学習ダイナミクスには結びつかないことを示す。
