私は llama.cpp 用の自動チューニングスクリプト ik_llama.cpp を作成しました。これは私のような 3090ti + 4070 + 3060 といった変則的なセットアップでも 最大トークン毎秒数 を実現します。
フラグ設定不要、OOMクラッシュともおさらばです、やったね！
Llama.cpp 自動チューニング最適化スクリプト
Reddit r/LocalLLaMA / 2026/3/11
📰 ニュースTools & Practical Usage
要点
- llama.cpp向けの新しい自動チューニングスクリプト ik_llama.cpp が作成され、3090ti、4070、3060 の組み合わせなど混在GPU環境でトークン処理速度の最適化を実現。
- このスクリプトにより手動でのフラグ設定が不要となり、メモリ不足（OOM）によるクラッシュを回避して安定性と使いやすさを向上。
- GitHubでツールが公開されており、異種ハードウェアシステム上でのLLaMAモデルの性能最大化に実用的なソリューションを提供。
- この最適化は複雑な手動調整が必要なローカルまたは個人のマルチGPUセットアップでllama.cppを実行するユーザーに特に有用。
- 本ソリューションは、ローカルでのLLaMAモデル展開のアクセス性と性能改善を目指すコミュニティ主導の継続的な取り組みを反映。
