私はコーダーではありませんが、ローカルのモデルを動かしています。エージェントの話題に流されました（自分でも作っていましたが、やることが多すぎて…）そしてHermesを入れました。2スパークのクラスタでQwen-397bを動かしています。
それで…今日、Hermesにトークン数を集計するよう頼んだところ、その結果…5日で2億トークンでした。
この調子で、ソフトのインストールや試してみたいもののデバッグのようなタスクにエージェントを使うとして、私はいったい何のコストを節約できているのでしょうか？ Artificial Analysisによると、提供元からの平均価格は1百万トークンあたり約1.25ドルです。現時点のArtificial Analysisの価格だと、月あたり約1250ドルになり、私のスパークは6か月で元が取れる計算です。
もちろん、注意点として私は今日の価格より安く買っているのですが、「ローカルにするには十分に妥当な理由がある」という単純な見積もりです。
先ほども言った通り、私はプログラミングはできませんし、同じ時間で簡単に自分のトークン数の3倍にできるプログラマーがいることも分かっています。つまり、仮に1日あたり1億トークンを使うとしても、バカみたいに高いコンピュータ価格であっても、投資対効果は今でも成り立つということです。
私にとって、ローカルAIとは、個人のプライバシーや知的財産を脅かす紐付きの条件なしに、かっこいい技術を活用したいという願いのことです。ですが、自分の投資が単なる趣味に留まらないことが分かるので、ローカルAIが未来であるという確信がより強くなります。
私は言いたいことを同じように皆が言っている人たちに向けて説教しているのを自覚しています…そこで質問です。皆さんは、価格面で考えて、6か月前より自分の環境がより持続可能になってきたと感じたことはありますか？ぜひ聞かせてください！！
[link] [comments]
