Astera Labsは火曜日、ラックスケールのAIシステムを構築するために、NvidiaのNVSwitchに代わる選択肢を発表し、ほぼあらゆるアクセラレータで動作するはずだと主張しました。

AIファブリックスイッチ（コードネーム：Scorpio X）は、320レーンのPCIe 6.0接続を単一のASICに詰め込み、双方向で5.12 TB/sの帯域幅を提供します。

歴史的に、PCIeスイッチはスケールアウト型のコンピュート・ファブリックなど、さまざまな用途で使われてきました。CPUだけでは、必要とされるすべてのGPU、NIC、ストレージに対して、十分な数のレーンや十分な速度のレーンが提供できなかったのです。そこで、CPUにすべてをぶら下げるのではなく、NICに組み込まれることも多いPCIeスイッチを使って、あらゆるものを相互接続するようにしていました。

Asteraは、十分に大きなスイッチがあれば、PCIeはNVLinkのようなインターコネクトに対する実行可能な代替になり得る、そしてその目的はスケールアップ・ファブリックで、複数十台以上のGPUを、アクセラレータを作り直す必要なく、単一の巨大なGPUのように振る舞わせることだと述べています。

ただしAsteraは、単により大きなPCIeスイッチを作っただけではありません。Scorpioには、NvidiaのNVSwitchと同じようなインネットワーク（ネットワーク内）での演算能力が多数搭載されており、集合通信（collective communications）を加速するのに役立ちます。

こうした通信は、とりわけ生成AIの推論において重要です。大規模言語モデルは、混合専門家（MoE）アーキテクチャが広まり、ネットワークの観点からかなり“おしゃべり”になってきました。

MoEモデルは、複数のサブモデルと呼ばれる専門家（experts）で構成されます。生成される各トークンごとに、異なる専門家の選択が（それぞれが別のGPU上で動いている可能性もあります）使われます。 

集合通信をスイッチ側へ移すことで、GPUはネットワークが追いつくのを待つ時間を減らし、トークンを生成する作業により多くの時間を振り向けられます。

返却形式: {"translated": "翻訳されたHTML"}

Asteraは、MoE推論向けに最適化したマルチキャスト動作を開発するところまで進めており、それをHypercastと呼んでいます。

Asteraのプロダクトマネジメント担当VPであるAhmad Daneshは、El Regに対し、「標準的なマルチキャストには、実際にサポートできるグループ数という制限があることに加え、ミクスチャ・オブ・エキスパート（Mixture-of-Experts）モデルでは、そうしたグループをその場で変更する必要があるという動的な性質があります」と述べました。

Scorpioがスケールアップのエコシステムにどう位置づけられるか

チップ間（chip-to-chip）のインターコネクトとしてPCIeを使うことには明確な利点がありますが、ScorpioはNvidiaのNVSwitchチップの“直接の代替”ではありません。1月のCESで発表されたNVSwitch 6は、14.4 TB/sでほぼ3倍の帯域を提供します。

とはいえ、AsteraはNVSwitchと正面から競合する必要はありません。実際、Asteraは昨春、Nvidiaの高速インターコネクトをより広いエコシステムに開放しようとする取り組みであるNVLink Fusionの対応を拡張する計画を発表しています。

その代わり、Scorpioはより“ベンダーニュートラルな代替”として位置づけられています。NVLink Fusionのような技術や、台頭しつつあるUALinkプロトコルは注目を集めていますが、チップはそれらを前提に設計される必要があります。

PCIeは、加速器にデータを入れたり出したりするためにすでに幅広く使われているため、ほぼ何にでも対応できます。たとえば、NvidiaのRTX Pro 6000 Serverカードを32枚以上つなぎ合わせたいなら、GPU側がそもそもNVLinkに対応していないため、PCIeスイッチが必要になります。 

またPCIeは、分離（disaggregated）推論のアーキテクチャで、チップを組み合わせやすくします。これは、NvidiaとGroq、AWSとCerebras、あるいはIntelとSambaNovaで見られたような形です。

こうしたアーキテクチャでは、計算負荷の高いprefill処理を行うためのアクセラレータを用意し、帯域を集中的に消費するdecode処理には別のアクセラレータを使います。これを成立させるには、チップ同士を接続しておく必要があります。多くのAIチップ開発企業はこれをEthernetで行っていますが、PCIeのほうがより直截的です。

• ネットワーキングを“消す”ためのAmazon Web Servicesの構想の中身
• 帯域を食い潰す人たちよ、歓喜を。Celesticaの最新スイッチは1.6 TbpsのEthernetポートを64本搭載
• Googleが自社のTPUを一部の顧客に販売へ。そこには“Big-G”のGPUを欲しがる層もいる
• Meta、AWS Gravitonコアを“数千万”単位で発注して歯を食いしばる

Asteraは、Scorpio Xシリーズのチップに加えて、PCIe接続のレーン数が32〜320までのモデルを揃えたScorpio Pシリーズのスイッチも拡充しています。

これらのスイッチはすべて、ネットワークファブリック全体で問題を追跡し解決できるように設計されたハードウェア監視プラットフォームである、AsteraのCOSMOS管理スイートに対応します。 

刷新されたAsteraのScorpioスイッチは現在サンプル出荷中で、生産は2026年後半に本格的に立ち上がる見込みです。®

関連記事

• AI
• データセンター
• GPU

これに近い話題