LLM翻訳を本番で動かしたら、翻訳精度より先に壊れたのはJSONパースだった
Zenn / 2026/3/12
💬 オピニオンTools & Practical Usage
要点
- 本番環境でのLLM翻訳実装で、最初に直面したのは翻訳精度ではなくJSONパースの障害だった。
- 出力JSONのフォーマット安定性不足がパースエラーや処理遅延の原因となり、ワークフロー全体に影響を与えた。
- モデル出力とクライアントの受け取り仕様を厳密に揃え、ストリーミング時の境界・エラーハンドリングを明確化することが不可欠。
- 今後の対策として、モニタリング・自動検証・回帰テスト・出力形式のバージョン管理を強化するべき。
はじめに
LLMのAPIで翻訳機能を作ろうとしたとき、最初に心配するのは翻訳精度だと思います。自分もそうでした。でも実際に本番で運用してみると、精度より先に壊れたのはJSONのパースでした。
この記事では、OpenRouter API経由のLLM翻訳を本番で安定させるまでに必要だった防御設計を、実際に壊れた順番で書きます。主題はJSONパースの破損対策です。リトライ・フォールバックと言語検出についても触れますが、いちばん工数がかかったのはJSONの扱いでした。
この記事でわかること
LLM APIの構造化出力（json_object）が本番で壊れるパターンと、3層の防御設計
O...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
