位相随伴メモリ:複素ヒルベルト空間におけるシーケンスモデリング

arXiv cs.LG / 2026/4/8

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、複素数値表現を用い、外積によって更新される行列状態に連想(アソシエーション)を格納する、リカレントなシーケンスモデル「位相随伴メモリ(PAM)」を提案する。
  • 取得(リトリーバル)は、共役内積(conjugate inner-product)メカニズムによって行われ、既存のベクトル状態(ホログラフィック)アプローチよりも、バインディングと想起をより適切に支援するよう設計されている。
  • WikiText-103 に関する実験では、約1億パラメータで、PAMが検証ペルプレキシティ30.0に到達し、同様の学習条件下で対応するTransformer(27.1)に対して約10%以内の性能を達成した。
  • 著者らは、ベクトル状態の重ね合わせから行列状態の定式化へ移行することで、ホログラフィックなバインディングで見られる容量低下を回避でき、シーケンスモデリングにおける連想メモリ挙動が改善されると主張している。
  • さらに、アーキテクチャの強みを、人間および言語モデルの意味解釈における非古典的な文脈依存性(non-classical contextuality)に関するより広い主張へと結び付け、計算上の形式主義の選択が重要であり得ることを示唆している。

要旨: 複素数値表現のみを用いる反復型シーケンスモデルである位相-連想メモリ(Phase-Associative Memory; PAM)を提案する。ここでは、連想は外積によって行列状態 S_{t}
i

i
S_{t}
i
i

i
i
i
i
i
i
i
i

i

i
i

i
i

i
i

i

i

i
i

i

i

i
i
i
i
i
i
i
i
i
i
i

i
i

i

i

i
S_{t}
i

i

i

i

i

i

i

i

i

i

i
S_{t}
i

i
S_{t}
i

i

i

i


i

i

i

i


i
i

i
i
i S_{t}
i
i

i
i
i
i
i
i
i

i


i

i

i

i


i

i

i

i

i


i

i

i


i

i
}