トランスフォーマー型ゲノム言語モデルDNABERT-2に対する事後的説明手法の評価

Abstract

ゲノム配列に対する深層ニューラルネットワークの予測を説明することは、生物学的な洞察と仮説生成を可能にします。これは、予測性能そのものよりも関心が高いことがしばしばあります。畳み込みニューラルネットワーク（CNN）の説明が、ゲノム配列内の関連するパターンを捉えることを示してきましたが、それが、より表現力の高いTransformerベースのゲノム言語モデル（gLM）にも転移するかどうかは不明です。この問いに答えるために、注意機構に拡張した層ごとの関連度伝播（layer-wise relevance propagation）の拡張版であるAttnLRPを適応し、最先端のgLMであるDNABERT-2に適用します。これにより、トークンレベルおよびヌクレオチドレベルから説明を転送するための戦略を提案します。複数の指標を用いて、ゲノムデータセット上でAttnLRPの適応を評価します。さらに、DNABERT-2の説明とベースラインとなるCNNの説明の間で、広範な比較を提供します。その結果、AttnLRPは既知の生物学的パターンに対応する信頼できる説明を生成することを示します。したがって、CNNと同様に、gLMも生物学的な洞察の導出に役立ち得ます。本研究はgLMの説明可能性に貢献し、異なるアーキテクチャ間における関連度帰属の比較可能性に取り組みます。