数か月前にAI機能を本番投入しましたが、それ以来、コストのプロファイルがずっと予想外でした。最初のデモや初期プロトタイプは、ボリュームが小さく、さらにプロンプトも短かったので安く済んでいたのです。しかし、アクセスが増えてくると、トークン使用量は大きくスケールしました。おそらく一部には、テストセットよりも顧客の方がより長く、分かりにくい質問をするためだと思います。その結果、呼び出しのたびに入力長が倍になるコンテキスト取得を追加することになりました。
初期バージョンではGPT4oから始めました。応答品質が十分に良く、誰も反対しなかったのですが、数週間ボリュームが出た後に請求書が届くと、想定より高額で、経理にはそれがどの機能やどのモデルによって引き起こされたのかを切り分ける方法がありませんでした。私はOpenAIのダッシュボードからエクスポートを取り出して、機能に手作業で対応付けようとしていますが、それは持続可能ではありません。
私はその機能を出荷しましたが、今はコストの問題に関して事実上のオーナーになっています。OpenAIのダッシュボードは合計は教えてくれますが、私が実際に答える必要のある情報は教えてくれません。毎週半日を、トークン数を機能の利用状況と突き合わせることに費やしていますが、引き渡す数字にまだ自信がありません。
[リンク] [コメント]
