巨大な容量を持つ疎パターンに対する連想ニューラルネットワーク

arXiv cs.LG / 2026/3/30

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、古典的な二次の定式化を超える相互作用項を用いる、高次の一般化ホップフィールド型連想メモリモデルを研究し、記憶容量を高めることを目的とする。
この高次メカニズムを、疎パターンの連想メモリ（例：Willshaw/Amari）と組み合わせ、相互作用次数が固定される場合と増加する場合における、容量がシステムサイズに対してどのようにスケールするかを解析する。
相互作用次数を固定した場合、著者らは、ニューロン数に対して多項式的にスケールする記憶容量を導出し、従来の二次モデルよりも改善されることを示す。
相互作用次数をニューロン数に対して対数的に増加させると、記憶容量は多項式以上の（スーパー多項式的な）スケーリングになる。
本研究ではさらに、Gripon–Berrouアーキテクチャの類似の枠組みも提示し、高次の相互作用に基づく容量向上が疎な設定においても成り立つことを示す。スケーリングは、特定のアーキテクチャに依存する。

要旨：高次または指数型の相互作用項を含む一般化ホップフィールドモデルは、古典的な二次モデルに比べて格納容量が著しく大きいことが知られている。一方で、ウィルショウモデルやアマリモデルのような疎（sparse）パターンのための連想記憶は、疎領域ではすでに古典的ホップフィールドモデルを上回っている。
本論文では、この2つの機構を組み合わせる。疎連想記憶モデルの高次版を導入し、その格納容量を調べる。相互作用次数 $n$ を固定すると、系のサイズに対して多項式次数の格納容量が得られる。相互作用次数を、ニューロン数に対して対数的に増大させることを許すと、超多項式の容量が得られる。また、疎ではないメッセージのために定式化されたグリポン—ベル（Gripon--Berrou）アーキテクチャにおける類似物についても議論する（

t see \cite{griponc}）。

本結果は、高次相互作用による容量増加が疎な設定においても持続することを示しているが、正確な格納スケールは基盤となるアーキテクチャに依存する。