LLM APIの無駄なコストで月1,240ドルを見つけた方法（そして自分の無駄を探すツールも作った）

Dev.to / 2026/4/5

💬 オピニオンDeveloper Stack & InfrastructureTools & Practical Usage

共有:

要点

著者は、月額2,847ドルの支出のうち、リトライ、重複、過剰なコンテキスト長などにより回避可能なLLM APIの無駄を、約1,240ドル/月と特定したと報告している。
主な無駄の内訳は、JSONをmarkdown内に含めてしまったことが原因で発生したリトライ呼び出し（34%）、キャッシュが欠如していたために重複して行われた分類器呼び出し（85%）、単純なyes/no判定にGPT-4oを使う代わりにより安価なモデルを使えるのに使ってしまった点、などである。
チャットボットのコストは、会話の全文履歴を毎回送信し続けたことが要因だった。著者は、直近の数メッセージだけに切り詰めることで、約155ドル/月の節約につながることを見つけた。
同様の問題を測定し、予防するために、著者はオープンソースのPython CLI（「LLM Cost Profiler」）を作成した。既存のLLMクライアントをラップし、API呼び出しをローカルのSQLiteデータベースに記録する。
計測ツールは非侵襲的に設計されており、ログはサイレントで、計測のインストゥルメンテーションが失敗してもアプリケーションに影響を与えないことを意図している。OpenAIとAnthropicの両方のクライアントをサポートしている。

この記事の続きは原文サイトでお読みいただけます。