DNA配列分類のためのボルツマン機強化トランスフォーマー

要旨: DNA配列の分類には、高い予測精度だけでなく、潜在的な部位間相互作用、組合せ的制御、およびエピスタシス様の高次依存性を明らかにする能力が必要である。標準的なTransformerは強力な大域的モデリング能力を提供するものの、そのsoftmaxによる注意は連続的で密であり、また弱く制約されているため、明示的な構造発見というよりは情報ルーティングにより適している。本論文では、DNA配列分類のためのボルツマンマシン強化Transformerを提案する。マルチヘッド注意に基づき、このモデルは潜在的なクエリ—キー接続を表すための、構造化された二値ゲーティング変数を導入し、それらをボルツマン様のエネルギー関数で制約する。クエリ—キーの類似度が局所的なバイアスタームを定義し、学習可能な対（ペア）間相互作用がエッジ同士の相乗効果と競合を捉え、潜在的な隠れユニットが高次の組合せ的依存性をモデル化する。離散的なゲーティンググラフに対する厳密な事後推論は計算不能であるため、平均場変分推論を用いてエッジの活性化確率を推定し、さらにGumbel-Softmaxと組み合わせることで、連続確率を近似的に離散的なゲートへと段階的に圧縮しつつ、エンドツーエンドの微分可能性を維持する。学習時には、分類損失とエネルギー損失を同時に最適化し、低エネルギーで安定かつ解釈可能な構造を好みながら、正確な予測を達成することを促す。さらに、エネルギー関数および変分自由エネルギーから、本枠組みを平均場固定点方程式、Gumbel-Softmaxの緩和、および最終的な共同目的関数へと導出する。提案する枠組みは、ボルツマンマシン、微分可能な離散最適化、ならびにTransformerを、生物学的配列に対する構造化学習として統合するための統一的な見方を提供する。