プロンプト評価の基本：再現性と精度
「なんとなく良くなった」は開発では通用しません。プロンプト変更は評価で良し悪しを測る必要があります。
評価の組み立て
- 評価データセット：代表的な入力と期待出力を集める
- 評価指標：正確性・形式遵守・拒否率・コスト・レイテンシ
プロンプト評価の基本：再現性と精度
AI Navigate Original / 2026/5/16
要点
- プロンプト変更は印象でなく評価で良し悪しを測る
- 評価データ・指標・自動採点・回帰テストを組む
- データで比較し、LLM 採点も誤るので人手確認を併用
- 20〜50 件から始め、プロンプトはコード—未テストでデプロイしない
