高密度連想メモリのアルゴリズム的解析:有限サイズの保証と敵対的ロバスト性

arXiv cs.LG / 2026/4/15

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、高次の相互作用を導入したホップフィールドネットワークの一般化である高密度連想メモリ(Dense Associative Memory: DAM)を研究し、パターン分離の仮定の下でストレージ容量が O(N^{n-1}) にスケールすることに焦点を当てる。
  • DAM の想起ダイナミクスに対する、最初の有限 N におけるアルゴリズム的保証を提示し、軌道が引力のバシンに入った後に幾何学的(対数時間)な収束が明示的に得られることを示す。
  • 著者らは、明示的なマージン条件を用いて敵対的ロバスト性の境界を導出し、高いローディングにおける有界干渉の下で、1 スイープあたりどれだけのビット破損まで許容できるかを定量化する。
  • 最悪ケースにおける容量の保証として、ポリログ因子を除き Θ(N^{n-1}) を確立し、ランダムなパターン集合では古典的な Θ(N^{n-1}) のスケーリングが回復されることを示す。
  • 想起ダイナミクスはさらにポテンシャルゲームとして解釈され、非同期更新のもとで純粋ナッシュ均衡へ収束することの均衡論的な説明を与える。

Abstract

密連想メモリ(DAM)は、より高次の相互作用によってホップフィールドネットワークを一般化し、適切なパターン分離条件の下で記憶容量が O(N^{n-1}) とスケールすることを実現します。既存の動力学的解析は主として、ランダムにサンプリングされたパターンを用いた熱力学極限 N\to\infty を調べているため、有限サイズでの保証や明示的な収束率は提供しません。 本論文では、DAM想起ダイナミクスに対するアルゴリズム的解析を開発し、明示的で検証可能なパターン条件の下で有限-N の保証を導きます。分離仮定および高い負荷の下での有界干渉条件のもとで、非同期想起ダイナミクスが幾何学的に収束することを証明します。これにより、軌道が引き込み領域に入った後は O(\log N) の収束時間が成り立つことが示されます。さらに、1スイープあたりに許容できる破損ビット数を定量化する明示的なマージン条件によって表される、敵対的ロバスト性の境界を確立します。また、最悪の場合において記憶容量が多項対数因子までの形で \Theta(N^{n-1}) にスケールする容量保証を導出し、さらにランダムなパターン集合に対して古典的な \Theta(N^{n-1}) のスケーリングを回復することを示します。最後に、DAM想起ダイナミクスはポテンシャルゲームとして解釈でき、非同期更新のもとで純粋ナッシュ均衡への収束が保証されることを示します。 完全な証明は付録に掲載され、また予備的な実験として、予測される収束、ロバスト性、容量スケーリングの挙動を示します。