自分でモデルを動かしています。vLLMを起動するのに少し手こずったので、これまで24GBのMacBook Airで使ってきたLM Studioに切り替えました。
いまはLM Linkが両方のノートPCからAI Workstation RTX Pro 6000 Blackwellへ接続されています。そして電話はLM Miniです。めちゃくちゃすごくて、これから始めたばかりです。
現在はQwen3.5 9Bを動かしつつ、Qwen3.6 27Bと35B A3Bをダウンロード中です。さらにLlamaもいくつか試す予定で、3.3 70B Instruct Q8、Deepseek R1 Distill Q8、3.3 70B Q4、そして3.2 11B Vision Instructです。
なんて時代に生きているんだろう！
[link] [comments]
