生成AIの成果物を定量評価する仕組みの検討メモ（Vertex AI）

背景：プロンプト改善における「主観」の限界 プロンプトを調整しても、改善したのかデグレ（品質低下）したのかが主観的な判断になりがち。 100件単位でテストを行い、統計的に「今回のアップデートで精度が◯%向上した」と定量化できる仕組みが必要。 「なんとなく良くなった」を排除し、信頼性の高いデプロイ判断基準を持ちたい。 Vertex AI Evaluation Service による評価の自動化 AI（Autorater）が特定の指標に基づき、生成物を採点・比較するマネージドサービス。 適応型ルーブリック: プロンプトの内容に応じて、AIがその場で適切な採点基準（ルーブリック）...