Zyphraは、アクティブパラメータがわずか7.6億（760M）に過ぎない推論型Mixture of Experts（MoE）モデル「ZAYA1-8B」をリリースしました。数学およびコーディングのベンチマークで、同サイズの何倍も大きいオープンウェイトモデルを上回り、DeepSeek-V3.2に迫り、さらに新しいマルコフ的RSAの推論時コンピュート手法によってHMMT'25でClaude 4.5 Sonnetを上回ります。AMD Instinct MI300ハードウェア上でエンドツーエンドで学習され、Apache 2.0の下で公開された本モデルは、小型言語モデルの重みクラスにおける「知能密度」の新たな基準を打ち立てます。
この記事はZyphra Releases ZAYA1-8B: A Reasoning MoE Trained on AMD Hardware That Punches Far Above Its Weight Classとして、最初にMarkTechPostに掲載されました。
