ELMoE-3D：MoEの固有の弾性を活かしたハイブリッド・ボンディング対応セルフ自己推測デコーディングによるオンプレミス推論サービング

要旨: 混合エキスパート（Mixture-of-Experts: MoE）モデルは大規模言語モデルにおいて支配的なアーキテクチャとなった一方で、オンプレミスでの提供（serving）は本質的にメモリバウンドです。バッチングにより、トークン当たりの疎な計算が密なメモリアクティベーションへと変わるためです。メモリ中心のアーキテクチャ（PIM, NMP）は帯域幅を改善しますが、MoEではバッチサイズが大きいと算術強度が低いため、計算資源の活用が十分に進まないままです。推測デコード（Speculative Decoding: SD）は、アイドル状態の計算を、ターゲット呼び出しの回数削減と引き換えにするものですが、検証では、却下されたトークンであってもエキスパートを読み込む必要があり、特にバッチサイズが低い場合には、MoEにおけるこの利点が大きく制限されます。私たちは、キャッシュベースの高速化と推測デコードを統合し、バッチサイズ全体で総合的な高速化を実現する、ハイブリッドボンディング（HB）ベースのHW-SW共同設計フレームワークであるELMoE-3Dを提案します。MoEエキスパートとビット（bit）の、2つの固有の弾力性（elasticity）軸を特定し、それらを共同でスケーリングして、エキスパートキャッシュと、高HB帯域によって加速される強く整合した自己ドラフトモデルの双方として機能する、Elastic Self-Speculative Decoding（Elastic-SD）を構築します。我々のLSB拡張（LSB-augmented）されたビットスライス・アーキテクチャは、ビットスライス表現に内在する冗長性を活かし、ビットネスト実行をネイティブにサポートします。3D積層ハードウェア上で、ELMoE-3Dは、バッチサイズ1〜16にわたってxPU上で行うナイーブなMoE提供に対して平均6.6 imesの高速化と4.4 imesのエネルギー効率向上を達成し、さらに、最も性能の良い先行アクセラレータのベースラインに対して2.2 imesの高速化と1.4 imesのエネルギー効率向上を提供します。