rvLLM：Rust製vLLM代替で学ぶGPU推論エンジンの実装最適化

rvLLM：Rust製vLLM代替で学ぶGPU推論エンジンの実装最適化 この記事でわかること Python vLLMのPCIeボトルネックと、GPU側argmaxによる150,000倍のデータ転送削減手法 23 Rust crate・15 CUDAカーネルで構成されるrvLLMのアーキテクチャ設計 FP32→FP16→fused GEMMsの3フェーズ最適化で3,191→10,291 tok/sに至る過程 Rustの所有権モデルがGIL・GCなしの推論エンジンにもたらす利点と制約 低バッチサイズでvLLMに勝ち、高バッチサイズで逆転される理由 対象読者 想定読者: L...