埋め込みマッチングによる効率的なmRNA表現学習のためのゲノムモデルの蒸留

要旨: 大規模ゲノム基盤モデルは最近、目覚ましい成果と in-vivo 翻訳能力を達成しています。しかし、これらのモデルはすぐに数十億（数十億規模）のパラメータにまで膨れ上がり、計算資源が限られると実行コストが高くなります。この課題を克服するために、最先端のゲノム基盤モデルの状態から mRNA 表現を、mRNA 配列に特化したはるかに小さいモデルへと転送するための蒸留（distillation）フレームワークを提示します。これによりサイズを 200 倍縮小します。埋め込みレベルの蒸留は、ログイット（logit）ベースの手法よりも良好に機能しました。なお、ログイットベースの方法は不安定であることを確認しました。mRNA-bench によるベンチマークでは、蒸留されたモデルが、同程度のサイズのモデル群の中で最先端の性能を達成し、mRNA 関連タスクにおいてより大規模なアーキテクチャとも競合することが示されます。本結果は、生物学的基盤モデルに対する効果的な学習戦略として、mRNA 配列の埋め込みに基づく蒸留が有効であることを示しています。これにより、ゲノミクスにおいて、特に大規模モデルが計算上困難または実行不可能な場合に、同様に効率的でスケーラブルな配列モデリングを実現できます。