コンプライアンス50%、0%ではない——ログのスパイクが誤ったアーキテクチャ刷新をほぼ引き起こした話

Dev.to / 2026/5/6

💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisTools & Practical UsageModels & Research

共有:

要点

著者は最初、プロンプト拡張（prompt augmentation）パイプラインが完全に非準拠（compliance=0%）だと考え、27時間を費やすアーキテクチャ刷新をほぼ実行しかけました。
ロギングに基づくスパイク分析で、「0%」の原因は正規表現（regex）のバグであり、実際の準拥は約50%だったことが判明します。
本記事では、意思決定マトリクスの四象限チャートや7バージョンのタイムラインなどの図表を含む、章立ての構造化された調査手法で、測定や前提がどこで崩れたかを特定しています。
さらに、偽陰性（false-negative）に関するデバッグの教訓や、LLMエンジニアリングの実務的な知見を、再現可能なスパイクとプロジェクト参照情報とともに共有しています。
これらの発見を、LLMシステムやエージェントのアーキテクチャをデバッグする際に無駄な手戻りを避けるための実践的ガイダンスとして位置づけています。

TL;DR: 自分のプロンプト拡張トラックは完全に壊れている（コンプライアンス=0%）と思い、計画して実行するための書き直しにほぼ27時間を費やしました。ところが、0%は正規表現のバグでした——実際の価値は50%でした。

7つの章 + 4つの図（ヒーロー / 意思決定マトリクスの四象限Chart / 7バージョンのタイムライン / データ差分テーブル）

プロジェクトリポジトリ（MIT、⭐歓迎）：
https://github.com/franciseliang99-dot/web-agent

LLMエンジニアリング + スパイクの意思決定メソドロジー + ChromeのGPUデッドロック診断 + 正規表現の誤ったネガティブ（false-negative）に関する教訓。あなたの27時間を節約できるかもしれません。

AI Business

日経XTECH

日経XTECH

日経XTECH

Dev.to