高次モジュラー注意機構: タンパク質配列におけるペアワイズおよび三項相互作用の統合

要旨：トランスフォーマーの自己注意はペアワイズなトークン相互作用を計算しますが、タンパク質配列から表現型への関係は、3つ以上の残基間の協調依存性を含むことが多く、ドット積注意はこれを明示的には捉えません。私たちはHigher-Order Modular Attention、HOMAを導入します。HOMAは、ペアワイズ注意と明示的な三項相互作用経路を融合する統一的な注意演算子です。長い配列上で三項注意を実用的にするため、HOMAはブロック構造化された窓付き三項注意を採用します。私たちは二次構造、蛍光、安定性の3つのTAPEベンチマークで評価します。私たちの注意機構は、標準の自己注意およびブロック単位の注意や Linformer を含む効率的な変種と比較して、すべてのタスクにおいて一貫した改善をもたらします。これらの結果は、明示的な三項相互作用項がタンパク質配列予測の補完的な表現能力を提供し、追加の計算コストを制御可能にすることを示唆します。