幾何学的アラインメント税：科学基盤モデルにおけるトークン化 vs. 連続幾何

要旨: 生物学および物理学のための基盤モデルは予測精度を最適化しますが、その内部表現は、モデル化対象の連続的な幾何構造を系統的に保持できないことが一貫して起きています。原因は次の通りです。すなわち、幾何アラインメント税（Geometric Alignment Tax）であり、連続多様体を離散的なカテゴリ的ボトルネックを通して強制することによる本質的なコストです。合成の力学システムに対する制御されたアブレーションにより、同一のエンコーダ上でクロスエントロピーを連続ヘッドに置き換えると、幾何学的歪みが最大8.5倍低減することを示します。一方で、学習されたコードブックでは、復元は改善するにもかかわらず、より細かな量子化が幾何学を悪化させてしまう、非単調な二重拘束（double bind）が見られます。連続的な目的関数のもとでは、3つのアーキテクチャが1.3倍だけ異なり、離散的なトークン化のもとでは3,000倍にまで分岐します。レート・ディストーション理論とMINEを用いて14の生物学的基盤モデルを評価した結果、3つの失敗モードを特定します。すなわち、局所-大域デカップリング（Local-Global Decoupling）、表現圧縮（Representational Compression）、そして幾何の空虚性（Geometric Vacuity）です。制御された実験により、実際のDNAにおけるEvo 2の逆相補（reverse-complement）の頑健性は、学習された対称性ではなく保存された配列組成を反映していることが確認されます。いかなるモデルも、歪みが低く、相互情報量が高く、かつ大域的な整合性を同時に達成できません。