というわけで最近、ローカルでLLMを使うことを念頭にMac（m2 max）を買ったんですが、調べに調べた結果、どこでも皆が「より大きいRAMオプションを選ばないと後で後悔する」と言っていました……なので、そうしました。
モデルを選ぶ時間です：
"Okay、- いいモデル。Qwen3.5 35b a3bを8 bitの量子化で動かしていて、フルのコンテキストサイズでも速い。-> 性能面では、もっと高度なエージェント的な用途だといまいち"
"Hmm、64GBあるから、もっと良い選択肢があるはずだ。もっと賢いモデルがどこかにあるかもしれない。- Qwen3.5 27b mlxを4 bit量子化で動かして（これもフルのコンテキストサイズ）、密なモデルなので、私が必要としている性能そのもの。-> ただし落とし穴があって、まさかの展開なんだけど遅い。エージェントがフォルダ構成を作るだけで10分もかかる"
だから夢としては、アクティブに9bか7bモデルで、60bか70bみたいなものが欲しいわけだけど、そんなのはありません。
本質的に、彼らはこの気まずい中間地帯にいます。消費者向けのハードには大きすぎる一方で、「フロンティア」の巨人たちと戦えるほど強力ではないんです。
そのせいで、いまいちのモデル（35/27b）と「良い」モデル（>100b）の間に、はっきりギャップがあるように見えます。
そして私のRAMサイズ（そして性能）が、このギャップにぴったり収まっているんですよね。やったー。
でも、特にGoogleが「turbo quant」について研究していることを考えると、これから何が起こるかは誰にもわかりません。
みなさんはどう思いますか？あるいは何かおすすめはありますか？
[link] [comments]
