[R] ゲノム大規模言語モデル

DNA配列言語モデルは、配列アラインメントができないことを見つけられるか？

Arc Instituteのゲノム基盤モデルEvo2を、9.3兆ヌクレオチドで学習させたものを調べ、学習された表現が生の配列類似性を超えた生物学的関係を捉えているかを確認しています。

設定: Evo2の中間層から512bpのウィンドウを用いて25個のヒト遺伝子にわたる埋め込みを抽出し、モデルが類似とみなすものとBLAST（標準的な配列アラインメントツール）が見つけるものを比較します。

ほとんどの強い一致は、共通の反復元素（特にAlu）によって導かれました。しかし、より厳密なフィルタリングの後、1組のクリーンなペアが残りました:

VIM（ビメンチン、chr10）遺伝子の一部とDES（デスミン、chr2）遺伝子の一部は、検出可能な配列マッチがなくても非常に高い類似性を示しました（コサイン類似度0.948）。両領域はいずれも筋肉および結合組織細胞の活性プロモーターであり、重要な調節タンパク質を共有し、しばしば一緒に発現する2つの関連遺伝子に由来します。

これは、DNA文字列そのものだけでなく、遺伝子発現の調節パターンを認識する能力をEvo2が学習し始めていることを示唆します—配列が全く異なるように見えてもです。

とはいえ、この種の意味のある信号を見つけるのは依然として難しく、重いフィルタリングの後にのみ現れ、他の多くの一致は依然ノイズのままです。

全体として、Evo2は配列アラインメントを超えた実際の生物学的情報をある程度捉えているようですが、実用的に有用にするにはさらに多くの作業が必要です。

ゲノミクスとAIの分野の皆さんのご意見も伺いたいです。

https://preview.redd.it/ya4k6xwhmipg1.png?width=2496&format=png&auto=webp&s=8e7b4c0bd8c9540b39678a9adb5ab6e0a500eac6