コスト効率のよいMixture-of-Experts（MoE）LLM提供のためのネットワークトポロジ再考

Abstract

混合専門家（Mixture-of-experts: MoE）アーキテクチャは、LLMの提供を、通信がLLM提供ランタイムのかなりの割合を占めるクラスタ規模のワークロードへと変貌させてきました。これにより、業界では高価で高帯域幅のスケールアップ・ネットワークに大規模な投資が行われています。本研究では、そのようなコストのかかるインフラが厳密に必要なのかどうかを問い直します。MoE LLM提供におけるネットワーク費用対効果の、最初の体系的なクロスレイヤ解析を提示し、4つの代表的なXPU（例：GPU/TPU）トポロジ（スケールアップ、スケールアウト、3Dトーラス、3Dフルメッシュ）を比較します。その結果、調査したすべての提供シナリオにおいて、低コストのスイッチレス・トポロジの方がスケールアップ・トポロジより費用対効果が高いことが分かりました。費用対効果は20.6〜56.2%向上します。特に、3Dフルメッシュ・トポロジは、性能とコストのトレードオフにおいてパレート最適であることを示します。また、現行のスケールアップ・リンク帯域幅が過剰に見積もられていることも分かりました。リンク帯域幅を削減すると、コストあたりスループットが最大27%向上します。今後のGPU世代を見据えた分析から、スイッチレス・ネットワークのコスト性能上の優位性はおそらく持続するだろうと示唆されます。