4つのGPUベンダー、3つのバックエンド、3つのブラウザにわたるLLM推論におけるWebGPU dispatchオーバーヘッドの特性評価

要旨: WebGPUのセキュリティ重視の設計は、ニューラルネットワーク推論における多数の小さなディスパッチ（dispatch）にまたがって積み重なる、操作ごとの検証を課しますが、そのオーバーヘッドの真のコストは十分に特徴付けられていません。私たちは、バッチサイズ1のLLM推論におけるWebGPUディスパッチのオーバーヘッドを、4つのGPUベンダ（NVIDIA、AMD、Apple、Intel）、2つのネイティブ実装（Dawn、wgpu-native）、3つのブラウザ（Chrome、Safari、Firefox）、および2つのモデルサイズ（Qwen2.5-0.5Bと1.5B）にわたって、体系的に特徴付けます。私たちの主な貢献は、逐次ディスパッチ手法であり、それにより、素朴な単一操作ベンチマークがディスパッチコストを{\sim}20\times過大評価することを明らかにします。WebGPU APIオーバーヘッドそれ自体の、真の1ディスパッチ当たりコストは、Vulkanで24-36 s、Metalで32-71 sであり、Pythonコストを含む総1操作当たりオーバーヘッドは{\sim}95~sであることが分かります。これは最適化において決定的に重要な違いです。Vulkanでは、カーネルフュージョンによりスループットが53%向上しますが、CUDAフュージョンでは効果がなく、操作ごとのオーバーヘッドが主要な差別化要因であることが確認されます。LLM推論は、3つの主要なOS（Linux、Windows、macOS）でテストしました。私たちは、PrivateUse1ベースのツリー外（out-of-tree）PyTorchバックエンドであるtorch-webgpuと、FXからWebGPUへのコンパイラを構築しました。参照プラットフォーム上では、CUDA性能の11--12%を達成します。dtypeを一致させたfloat32では、RTX PRO 2000は、RTX 5090に比べて計算量が{\sim}6\times少ないにもかかわらず、WebGPUのスループットを1.4 imes上回ります。ディスパッチオーバーヘッドについては、バックエンドの選択が支配的な要因ですが、同一バックエンド内でも実装の選択が大きく影響します（Metalで2.2 imes）。ディスパッチ対カーネル計算の効率という観点では、バッチ=1で、現在のディスパッチ負荷の高いパイプラインでは、カーネル品質にかかわらず、操作ごとのオーバーヘッドが支配的であると結論づけます。すべてのコード、ベンチマーク、および生データはオープンソースです。