llm-dを調べてみた

llm-dとは何か Red Hatのブログで「llm-d」というプロジェクトが紹介されていた。OpenShift AI 3.0でGAになった、LLM推論のための分散フレームワークだという。記事はYAMLの山と専門用語で武装されていて読むのに体力がいるが、言いたいことを煮詰めると驚くほどシンプルだ。 「LLMを複数Podで動かすとき、賢くルーティングしないともったいないよ」。以上。 面白そうなので、もう少し掘り下げてみた。 KubernetesとLLM推論のギャップ なぜこんなプロジェクトが必要になるのか。根っこにあるのは、KubernetesとLLM推論の特性の違いだ。 Kube...