皆さん、
自分はWindowsユーザーで、ずっとそうです。手元の環境では「地獄を見に行く気持ちで」Linuxを試してみようと思い、数か月前に、すべてのおすすめがLinuxに向いていたので、win11とwslでソフト側を始めました。
そこから4か月、動作のもたつき、摩擦、苦痛を経て、今日に至ります。今日やりたかったのは、hfからダウンロードした自分の選んだモデルを使って、llamaサーバーのインスタンスを立ち上げることだけでした。
しかし、できませんでした。dockerでは動いたのですが、モデルを入手するのが大変で、そもそもquant（量子化）をどう選べばいいのかも分かりませんでした。次に、llama-serverを直接インストールしてみました。CPU版は動かせたのですが、事前ビルドがないためGPU（cuda）版をビルドする必要があり、その点では成功しませんでした。
いま本当にイライラしていて、それでもLinuxを使おうとする意味があるのかと疑っています。というのも、ollamaもllama.cppもwin11の下でうまく動きます。
そこで質問です。ローカルのモデル運用には、今でもLinuxが最適だと言えるのでしょうか？それとも、いっそ諦めてWindowsに戻した方がいいですか？
編集：RTX3090を3枚持っているので、層（レイヤー）などを自分で制御できる状態を維持できると嬉しいです。ollamaやLM Studioも良いのですが、それでも制御は自分でやりたいので、llama.cppとの格闘になっています。
[link] [comments]
