自分のマシンで動く最強ローカルLLMを一発で教えてくれるCLIツールを作った

ローカルLLMがどんどん身近になってきた。Ollamaを入れたり、HuggingFaceからGGUFを落として llama.cppで動かしたり。でも、HuggingFace には何千という量子化モデルがあって、自分のGPUで何が現実的に動くのかわからない…という人、多いんじゃないだろうか。 「VRAM何GB必要？」「Q4_K_M と Q5_K_M どっちがいい？」—— そんな計算をいちいちするのって面倒だ。そこで作ったのが whichllm。　 自分のマシンに合う最良のモデルをランキング表示してくれるCLIツールです https://github.com/Andyyyy64/whichl...