エマージェンス・トランスフォーマー：ダイナミカルな時間的アテンションが重要

概要: 人工知能におけるブレークスルーであるTransformerは、その成功を、注意機構に負っています。この注意機構は、逐次データにおける長距離相互作用を利用し、大規模言語モデル（LLM）とデータ分布との間に現れる整合性（創発的なコヒーレンス）を可能にします。しかし、時間的注意、すなわち時間系列における長距離相互作用のさまざまな形態は、量子、生物物理、あるいは気候システムにおける振動的コヒーレンスなどの、複雑系における創発現象の文脈でほとんど探究されてきませんでした。ここでは、時間変化するクエリ、キー、バリューの行列を用いて動的時間的注意（DTA）を設計することにより、「Emergence Transformer（創発トランスフォーマー）」を提案します。このアーキテクチャでは、各コンポーネントが、動的な注意カーネルを通じて、自身、または近傍の要素の過去の状態と相互作用できるため、コンポーネントの創発的コヒーレンスを促進および／または抑制することが可能になります。興味深いことに、近傍DTAは一貫して振動的コヒーレンスを促進する一方で、自己DTAはネットワーク構造に対する注意重みの非単調な依存性により、コヒーレンス増強に対する最適な注意重みを示すことを明らかにします。実際には、DTAが社会的コヒーレンスをどのように再形成するかを示し、合意を高める、あるいは多様性を維持するための戦略を提案します。さらに、DTAを範型的なホップフィールド神経回路に適用し、壊滅的忘却なしに創発的な継続学習を達成します。これらの結果は、ネットワーク化されたダイナミクスにおける創発現象を、DTAのみを用いて制御するための基盤を築き、直ちに適用可能なパラダイムを提供するものです。