 | vLLMには、GGUFに変換される前に.safetensorsのLLMを実行できる機能があり、探索のための新しいエンジンを示しています。私は個人的には、u/krishna2910-amd/ u/mikkoph と u/sa1sr1 が、Lemonade上でllama.cppを実行するのと同じくらい簡単にしてくれるまで、試したことがありませんでした：
これは、要点の実装はできているものの、既知の荒い部分（粗さ）があるという意味で、私たちにとっての実験的なバックエンドです。コミュニティのフィードバックを通じて、どこまで、そしてどのようにこの取り組みを進めるべきかを見極めたいと考えています。もし興味を持っていただけたなら、ぜひご意見を聞かせてください！ クイックスタートガイド：https://lemonade-server.ai/news/vllm-rocm.html GitHub：https://github.com/lemonade-sdk/lemonade Discord：https://discord.gg/5xXzkMu8Zk [link] [comments] |
vLLM（ROCm）がLemonadeに実験的バックエンドとして追加
Reddit r/LocalLLaMA / 2026/5/9
📰 ニュースDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical Usage
要点
- vLLMのROCm対応が、.safetensors形式のLLMをGGUFへ変換する前に実行できる実験的バックエンドとしてLemonade SDKに追加されました。
- Lemonadeの利用者は、vllm:rocmをインストールして特定のモデルを実行する、といったシンプルなコマンドで新バックエンドを使えます。
- このバックエンドはまだ実験段階であり、既知の「荒い部分（rough edges）」があるとされており、コミュニティのフィードバックを通じて今後の方針を検討する意向です。
- 使い始めるためのクイックスタートガイド、GitHub、Discordリンクが案内されています。
- 今回の追加により、AMD/ROCm環境でローカルLLMを提供する選択肢が、推論エンジンの別ルートをLemonadeのワークフローに統合する形で広がります。
