自律エージェントが分子トランスフォーマー設計について発見したこと：それは転移するのか？

Abstract

薬のような分子やタンパク質のための深層学習モデルは、自然言語向けに設計されたトランスフォーマー・アーキテクチャを圧倒的に再利用していますが、分子配列は異なる設計から利益を得るのかどうかについては、体系的に検証されていません。私たちは、3種類の配列（SMILES、タンパク質、統制として英語テキスト）にわたって、エージェントによる自律的なアーキテクチャ探索を展開し、単一GPU上で3,106件の実験を実行しました。SMILESでは、アーキテクチャ探索は逆効果であり、学習率やスケジュールの調整だけで、完全な探索を上回ります（p = 0.001）。自然言語では、アーキテクチャの変更が改善の81%を引き起こします（p = 0.009）。タンパク質はその中間に位置します。驚くべきことに、エージェントは領域ごとに異なるアーキテクチャを発見する一方で（p = 0.004）、3つの領域すべてに対してイノベーションが移植され、1%未満の劣化にとどまりました。これは、その違いが基本的な生物学的要件ではなく、探索経路の依存性を反映していることを示しています。私たちは、自律的アーキテクチャ探索と単純なハイパーパラメータ調整のどちらを分子モデリングチームが選ぶべきかのための意思決定フレームワークと、オープンソースのツールキットを公開します。