ハイブリッド連想メモリ

要旨: 再帰型ニューラルネットワーク（RNN）と自己注意はどちらも、内部メモリを保持する広く用いられている系列混合（sequence-mixing）層である。しかしこのメモリは、2つの直交するメカニズムによって構築される。すなわち、RNNは過去全体を固定サイズの状態に圧縮し、一方で自己注意は過去の各時刻ステップをすべて保持し、その状態（KVキャッシュ）が系列長に比例して線形に成長する。これにより、強みと弱みが直交する。自己注意層は文脈の中での情報の引き出しに優れるが、大きなメモリと計算コストを要する。一方でRNNはより効率的であるが、より長い文脈では劣化し、正確な想起（recall）のタスクでは性能が低下する。これまでの関連研究では、これらのメカニズムを組み合わせる際に主として、それらの補完的なメカニズムを考慮せずに計算コストを下げるために単純に機械的に（naively）交互に組み合わせることに焦点が当てられてきた。そこで本研究では、自己注意とRNNを組み合わせつつ、それぞれの個別の強みを活用するHybrid Associative Memory（HAM）層を提案する。すなわちRNNが系列全体を圧縮し、注意は*RNNが予測するのが難しい*情報に限って補足する。したがって、明示的に保存する価値が最も高いのはその情報である。HAM層は、KVキャッシュのデータ依存的な成長を可能にし、ユーザは単一の連続的な閾値によってそれを正確に制御できる。KVキャッシュ成長率のこのきめ細かな制御は、損失と性能の間で滑らかなトレードオフをもたらすことを見出した。経験的に、我々のハイブリッドなアーキテクチャは、KVキャッシュ使用量を大幅に低くした場合であっても、RNNとTransformerに対して強力で競争力のある性能を提供することを示す。