llama.cppの設定で8GBの性能が5倍変わる — 主要オプションの最適値を出した

llama.cppの設定で8GBの性能が5倍変わる — 主要オプションの最適値を出した llama.cppの起動オプションは50以上ある。そのほとんどはデフォルトのままでいい。だが8GB VRAMでは、5つのオプションの設定ミスが推論速度を半分にする。 以下は、RTX 4060 8GB (GDDR6 272 GB/s) での推定値（公開ベンチマーク・公式ドキュメント・VRAM使用量の理論計算から算出）に基づく設定ガイドだ。個別環境で数値は変動する。 最重要: -ngl (GPUレイヤー数) -ngl はTransformerレイヤーのうちいくつをGPU VRAMに載せるかを決め...