M5 Maxで標準のllama-cpp(llama-bench)Llama 2 7B q4_0ベンチマークを実行した人はいますか?

Reddit r/LocalLLaMA / 2026/3/24

💬 オピニオンSignals & Early TrendsTools & Practical Usage

要点

  • 投稿は、Apple SiliconのM5 Max環境で、Llama 2 7B(q4_0)に対して標準のllama.cpp/llama-benchセットアップでベンチマークを行った人がいるかを尋ねています。
  • 具体的には、特定のllama-benchコマンド設定(512のコンテキスト/パラメータ、n=128、そして-ngl 99によるフルGPUオフロード)から得られた、ラベル「PP」「TG」の出力数値を公開するよう求めています。
  • 動機として、投稿者は参照している既存のllama.cpp metalパフォーマンス計測の議論スレッド内で、報告されている結果を見つけられなかった点が挙げられています。
  • 基本的には、Metalバックエンドのベンチマーク計測の記録におけるギャップを埋めるために、コミュニティからの性能データ提供を呼びかける内容です。
  • 投稿自体では、新しいモデルのリリースやベンチマーク結果は提示されておらず、他者からの測定値の収集を依頼しています。

llama-cpp のメタル性能トラッキングの GitHub issue にレポートが見当たりません。

このマシンにアクセスできる方がいれば、以下の PP と TG の結果を投稿してください。

./llama-bench \ -m llama-7b-v2/ggml-model-q4_0.gguf \ -p 512 -n 128 -ngl 99 
/u/ForsookComparison によって送信されました
[リンク] [コメント]