合成規制要素を設計するための連続拡散トランスフォーマー
arXiv cs.LG / 2026/3/12
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- パラメータ効率の高いDiffusion Transformer (DiT) を導入し、U-Netバックボーンをトランスフォーマー・デノイザーと2D CNN入力エンコーダーで置換することで、200bpの細胞種特異的規制DNA配列を生成する。
- 本モデルは、U-Netの最良の検証損失を13エポックで達成し、学習反復回数を60倍少なく済ませ、収束値は39％低くなる一方、BLATで測定した訓練データとの一致を5.3%から1.7%へ低減する。
- アブレーション研究はCNNエンコーダが不可欠であることを示す。エンコーダがない場合、位置埋め込みの選択に関係なく検証損失が約70%増加する。
- Enformerを報酬モデルとして用いたDDPOファインチューニングにより、予測される規制活性が38倍改善され、DRAKESに対する交差検証は改善が真の規制信号を反映していることを示す。
本文: arXiv:2603.10885v1 アナウンス種別: new
Abstract: 私たちは、200bpの細胞種特異的規制DNA配列を生成するための、パラメータ効率の高いDiffusion Transformer (DiT)を提示します。DNA-DiffusionのU-Netバックボーンを、2D CNN入力エンコーダーを備えたトランスフォーマー・デノイザーに置換することにより、本モデルは13エポックでU-Netの最良の検証損失に匹敵し（60倍少ない学習反復回数で済む）、収束値は39％低くなります。一方、BLATを用いて生成配列の訓練データへの一致を5.3%から1.7%へ低減します。アブレーションではCNNエンコーダが不可欠であることが示されます。エンコーダを欠くと、位置埋め込みの選択に関係なく検証損失が約70%増加します。さらに、Enformerを報酬モデルとして用いたDDPOファインチューニングを適用し、予測される規制活性を38倍改善しました。独立した予測タスクでのDRAKESに対する交差検証は、改善が真の規制信号を反映していることを確認しています。
