本番環境向けテキスト対SQLシステムにおけるSQL精度のエージェント非依存評価

概要: 本番環境におけるテキストからSQL（T2SQL）の評価は、既存ベンチマークが扱っていない根本的な課題を抱えています。現在の評価手法、すなわちルールベースのSQL一致や、スキーマに依存するセマンティックパーサは、正解となるクエリと、構造化されたデータベースのスキーマへのアクセスを前提としています。しかし、これらの条件は現実の導入環境ではほとんど満たされません。このギャップにより、本番のT2SQLエージェントは開発時のテスト以外ではほぼ評価されず、フィードバック機構のないまま品質が静かに劣化してしまいます。私たちは、STEF（Schema-agnostic Text-to-SQL Evaluation Framework）を提案します。これは、本番環境にネイティブな評価システムであり、データベースのスキーマや参照クエリを必要とせず、ユーザの質問に対する自然言語入力、強化された再定式化、生成されたSQLのみを用いて動作します。STEFは自然言語とSQL表現の両方からセマンティックな仕様を抽出し、正規化された特徴のアラインメントを実行し、フィルタのアラインメント、セマンティックな評決、評価器の信頼度を包含する複合指標によって、解釈可能な0〜100の精度スコアを出力します。主な貢献は次のとおりです: 第1級の評価シグナルとしての、強化された質問品質の検証、プロンプトのテンプレートによる、アプリケーション固有で設定可能なルール注入、そして本番に堅牢な正規化によるGROUP BYの許容、ORDER BYのデフォルト、LIMITのヒューリスティックの取り扱いです。実証結果は、STEFがスキーマ非依存で、継続的な本番モニタリングとエージェント改善のフィードバックループを可能にし、構造化クエリ評価を初めて大規模に実現できることを示しています。