PSA: Langfuseのトレースを確認してください。デフォルトで他のツールのトレースを傍受し、それらに対して課金されます。

DeepEvalやローカルランナーのような評価ツールと併用してLangfuseを使用している場合は、使用ダッシュボードを確認してください。送るつもりのなかった数千のトレースに対して請求されている可能性があります。

発生していること:

明示的に指示したものだけを追跡する代わりに、彼らのSDK グローバルな TracerProvider にアタッチします。

デフォルトでは、gen_ai.* 属性を持つスパンや既知のLLMスコープを持つスパンを、同じプロセス内で動作している全く関係のないツールからでも貪欲に傍受してアップロードします。

Langfuseは使用量ベースの料金（トレース/観測ごと）を採用しているため、この『すべてをキャプチャする』デフォルトはサードパーティのバックグラウンドデータで請求額を黙って膨らませます。これは新しい V4 SDKで顕著ですが、古い構成にもバックエンドのアップデートが原因で同様の挙動が起きています。

私はLangfuse V3.12を使用しており、2日前から関連のないDeepEvalデータを見かけ始めました:

https://preview.redd.it/lzig36rgfoog1.png?width=1774&format=png&auto=webp&s=ef22544841acf4019686fbfbf607b4edbfc11e9c

対策:

スパンプロセッサを明示的にロックダウンして、Langfuse SDKの呼び出しのみ受け付けるようにします。

from langfuse import Langfuse langfuse = Langfuse( should_export_span=lambda span: ( span.instrumentation_scope is not None and span.instrumentation_scope.name == "langfuse-sdk" ) ) 

これにより、Langfuse自体が作成したスパンのみを受け付けるようにロックされます。DeepEval由来のものも、他のライブラリ由来のものもありません。元々このデフォルトは搭載されるべきだったと実質的には言えます。

TL;DR: LangfuseのデフォルトOTEL設定は、生成したツールに関係なくスタック内のすべてのLLMトレースをアップロードします。出血を止めるには should_export_span フィルターをロックダウンしてください。