私の自宅ラボ用のシンプルなPCがあります。64GBのDDR4、RTX 8000 48GB(Turingアーキテクチャ)、そしてcore i9 9900kのCPUです。OSはLinuxのUbuntu 22.04 LTSを使っています。このPCを自宅ラボとして使う前はWindows 10を動かしていました。今週末、古いプロジェクトを確認するために、Windows 10のSSDを再インストールしました。Ollamaを最新バージョンに更新したところ、Linuxで動かしていたときよりもトークン/秒がかなり遅くなりました。Linuxの方が性能が良いのは分かっていますが、2倍も速いとは思いませんでした。いくつかの簡単な推論テストの結果は以下のとおりです:
QWEN Code Next、q4、ctx長:6k
Windows:18 t/s
Linux:31 t/s(+72%)
QWEN 3 30B A3B、Q4、ctx 6k
Windows:48 t/s
Linux:105 t/s(+118%)
他の方でも、このくらい大きな性能差を経験したことはありますか?何か見落としているのでしょうか?
とにかく、もう少し性能を求めている人へのリマインダーとして共有しようと思いました!
[link] [comments]




