Crystalite：効率的な結晶モデリングのための軽量トランスフォーマー

arXiv cs.LG / 2026/4/3

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

Crystaliteは、コストの高い同変グラフニューラルネットワークよりも効率的に結晶材料をモデル化するための、軽量な拡散トランスフォーマーとして導入される。
モデルのサブ原子トークン化（Subatomic Tokenization）は、従来の高次元ワンホット符号化よりも連続拡散をより良く支えるための、コンパクトで化学的に構造化された原子表現を用いる。
幾何強化モジュール（Geometry Enhancement Module：GEM）は、周期的な最小像ペアの幾何情報を加法的な幾何学的バイアスとして注意機構に直接注入し、トランスフォーマーを結晶学的構造に整合させる。
実験では、結晶構造予測ベンチマークにおける最先端の性能と、強力なデノボ（de novo）生成が報告されており、比較したベースラインの中で最良のS.U.N.探索スコアを示す。さらに、幾何に重い代替手法よりも実質的にサンプリングが高速である。

Abstract

結晶材料のための生成モデルはしばしば、幾何学的構造をよく捉える一方で、学習コストが高くサンプリングが遅い同変グラフニューラルネットワークに依存しています。私たちは、結晶モデリングのための軽量な拡散トランスフォーマーである Crystalite を提示します。これは、2つの単純な帰納バイアスを中心に構築されています。1つ目はサブアトミック・トークン化 (Subatomic Tokenization) で、高次元の one-hot エンコーディングを置き換える、コンパクトで化学的に構造化された原子表現です。これは、連続的な拡散により適しています。2つ目はジオメトリ強化モジュール (Geometry Enhancement Module, GEM) で、周期的な最小像 (minimum-image) のペア幾何を、加法的な幾何学的バイアスを通じて注意機構に直接注入します。これらの要素により、標準的なトランスフォーマーの単純さと効率が維持されつつ、結晶材料の構造により適合したモデルになります。Crystalite は、結晶構造予測のベンチマークにおいて最先端の結果を達成し、また de novo 生成性能でも、評価したベースラインの中で最良の S.U.N. 探索スコアを獲得し、幾何に重い代替手法よりも大幅に高速にサンプリングします。