BartowskiがGemma 4の新しいクォント(quants)をアップロードしました。26BとE4B用にダウンロードしました。
彼の元のリリースと比べて、両方ともtg/sがだいたい半分くらいになっています。pp/sは75%です。
何が変わったのか分かる人いますか? 重み(weights)の問題ではないと思っていますが、ggufのヘッダーが、私のハードウェアと相性が悪い llama.cpp の機能を今は有効にしているのかもしれません。
情報があれば何でもありがとうございます!
[link] [comments]

