今日は、古いGPUがAIタスクにどの程度耐えられるかを見てみたいと思っていました。7か月前に、ゲーム用に使っていた AMD 9070 XT について投稿したことがあり、それをAIにも使いたいと思っていました。最近、古い Titan X Pascal のカードをサーバーに追加して、ただ埃をかぶらせているだけでした。
私が眠っている間にコードをレビューする小さな LLM エージェントを動かしていただけでも、それは楽しい実験になると考えました。
OpenCode と llama.cpp のいくつかの調整を行った後、プロンプト処理は約 500 トークン/秒、生成は 25 トークン/秒程度を確認しています。これは 9070 XT が達成したのとほぼ同じですが、生成速度は半分です。 一方、サーバー単体では 100 トークン/秒、生成は 6 トークン/秒程度に留まりました。
学んだ教訓: 古いハードウェアでも依然として驚くほど良い性能を発揮できることがあります。
注: llama.cpp からのハードウェア指標を表示する簡単なパネルを追加しました。指標の追跡にはあまり関心はなく、主に視覚的な要素のためのものです。
[リンク] [コメント]
