従来のAPMツールはリクエスト-レスポンスサイクル向けに設計されており、幻覚検出や品質の変動、トークンコストの暴走を検出することには適していません。LLMオブザーバビリティツールは、AIアプリケーション向けに設計されたトレーシング、評価、コスト追跡機能を持ち、このギャップを埋めます。ここでは、検討に値する7つのツールを紹介します。各ツールにはそれぞれ異なる強みがあります。
要約: オープンソースかつ自社ホスティングを望むならLangfuseがおすすめです。最速セットアップ（2分、SDK不要）ならHeliconeが良いでしょう。すでにLangChainを利用しているならLangSmithが適しています。そして、すでにDatadogを導入している組織には、そのLLMモジュールがピッタリです。
クイック比較
| 機能 | Langfuse | LangSmith | Helicone | Braintrust | Arize Phoenix | Datadog LLM | Nebula |
|---|---|---|---|---|---|---|---|
| セットアップ時間 | 約30分 | 約30分 | 約2分 | 約15分 | 約20分 | 状況により異なる | 約5分 |
| オープンソース | あり（MIT） | なし | 部分的（MITコア） | なし | あり（Elastic 2.0） | なし | なし |
| 自社ホスティング | 可能 | エンタープライズのみ | 不可 | 不可 | 可能 | 不可 | 不可 |
| トレーシング深度 | フルスパン | フルスパン+LangGraph | リクエストレベル | フルスパン | フルスパン | フルスパン+APM | エージェントレベル |
| コスト追跡 | あり | あり | あり（100以上のモデル） | あり | 基本的な機能 | あり | 組み込み |
| 評価フレームワーク | スコアリング+注釈 | データセット+実験 | 11の組み込み評価器 | CI/CDの品質ゲート | ドリフト検出+RAGメトリクス | LLMを用いた判定 | アクションラベリング+安全性チェック |
| 無料利用枠 | 月50K観測値 | 月5Kトレース | 月10Kリクエスト | 100万トレーススパン | 無制限（自社ホスト時） | なし（バンドル） | あり（寛大） |
| 開始価格 | 無料（自社ホスト） | $39/席/月 | $79/月 | $249/月 | 無料 | 問い合わせ | 無料プランあり |
| 最適な利用者 | オープンソースチーム | LangChainユーザー | 高速セットアップ+コスト重視 | 評価重視チーム | RAGパイプライン監視 | 既存のDatadogを利用する大企業 | AIエージェントチーム |
1. Langfuse -- 最良のオープンソース選択肢
Langfuseは完全にMITライセンスで自社ホスティング可能で、2025年6月の再ライセンス以降、すべての機能がオープンソース版で利用可能です。フルスパントレーシング、スコアリング、プロンプト管理を提供し、LangChain以外のフレームワーク向け統合も増え続けています。
主な強み： 完全なデータ主権を実現。自社インフラ上で稼働し、トレースは自社データベースに保存、費用はかかりません。
主な弱み： プロキシベースのツールよりセットアップに時間がかかります。SDKを使ったコードの計測が必要で、自社ホスティングの場合はデプロイ管理も必要です。
最適利用者： 厳格なデータ居住要件があるチームや、ベンダーロックインを避けて完全なコントロールを望むチーム。
価格： 自社ホストは無料。クラウド版は月50K観測値まで無料で開始可能です。
2. LangSmith -- LangChain利用チームに最適
LangSmithはLangChainチームが開発したオブザーバビリティレイヤーです。LangChainおよびLangGraphのワークフローのトレーシングはほぼ設定不要で、Prompt Hubやデータセット駆動の評価ワークフローは成熟しておりドキュメントも充実しています。
主な強み： LangChain/LangGraphエコシステムとの最深統合。すでにLCELを使っている場合、トレーシングはそのまま機能します。
主な弱み： ベンダーロックイン。LangChainから移行すると価値の大部分が失われます。非LangChainトレーシングは可能ですが後付け感があります。
最適利用者： すでにLangChainスタックにコミットしていて、トレーシングと評価を一元管理したいチーム。
価格： 月5Kトレースまで無料。有料プランは$39/席/月。
3. Helicone -- 最も簡単なセットアップ
Heliconeはプロキシベースのアプローチを採用しています。OpenAIのベースURLを差し替えるだけで、2分以内にトレースが記録され始めます。SDKもコード変更も不要です。100以上のモデルに対応したコスト分析ダッシュボードで、モデル別、ユーザー別、機能別の支出状況を即座に把握できます。
主な強み： 最短の価値提供時間。99.99%の稼働率SLAと、コード計測不要のプロキシアーキテクチャ。
主な弱み： リクエスト単位のトレーシングのみ。複雑なチェーンやエージェントループに必要なスパンレベルの詳細は得られません。
最適利用者： コードベースに手を加えずにコストの可視化と基本的なトレーシングを行いたいチーム。
価格： 月10Kリクエストまで無料。Proプランは月$79から。
4. Braintrust -- 評価重視チームに最適
Braintrustは評価を中心に据えています。CI/CDの品質ゲートが品質指標の後退時にデプロイを阻止し、リアルタイムダッシュボードで幻覚を検知します。AI出力品質をテストカバレッジのように扱うチームに適しています。
主な強み： コード出荷前に品質基準を強制するCI/CD統合評価ゲート。
主な弱み： 価格が高めで月$249。評価重視のためトレーシングやログはスコアリングワークフローに比べて二次的です。
最適利用者： AI出力の品質がミッションクリティカルで、後戻りを本番前に検知したいチーム。
価格： 100万トレーススパンまで無料。Proプランは月$249。
5. Arize Phoenix -- 最良の無料自社ホスティング
Arize PhoenixはElastic 2.0ライセンスのオープンソースで、組み込みのドリフト検出、RAG品質指標、リトリーバルの可視化機能を備えています。特に、出力が徐々に劣化しても気づかれにくい静かなモデル劣化の検知に強みがあります。
主な強み： 他に類を見ないドリフト検出とRAG特化の品質プロット。
主な弱み： 商用製品と比べややUIが洗練されていない点と、Elastic 2.0ライセンスがMITより企業利用に制約がある場合がある点。
最適利用者： RAGパイプラインを運用し、SaaSコストをかけずに品質監視を行いたいチーム。
価格： 自社ホストの場合は無料かつ無制限。クラウド版もあり。
6. Datadog LLMオブザーバビリティ -- エンタープライズに最適
Datadog LLMオブザーバビリティは既存のAPM、ログ、メトリクスに直接統合されます。組み込みの安全性検出機能は幻覚、PII漏洩、バイアスをカバーします。価値提案はシンプルで、一画面でスタック全体、LLMも含めて監視できます。
