EGREFINE：テキストからSQLへのスキーマ精錬のための実行に基づく最適化フレームワーク

Abstract

テキストからSQL（Text-to-SQL）は、非専門家が自然言語でデータベースを問い合わせることを可能にしますが、現実のスキーマはしばしば、曖昧・省略された・あるいは一貫性のない命名規則に悩まされ、その結果モデル精度が低下します。既存の手法はスキーマを固定とみなし、エラーを下流で扱うことで対処しています。本論文では、スキーマ洗練（refinement）を制約付き最適化問題として定式化します。すなわち、データベースのビュー（database views）によってクエリ同値性を保ちつつ、下流のText-to-SQL実行精度を最大化するようなリネーミング（renaming）関数を見つけます。本問題の計算困難性を分析することで、列（column）ごとの貪欲分解（column-wise greedy decomposition）が動機づけられます。そしてそれをEGRefineとして実装します。EGRefineは4フェーズのパイプラインであり、曖昧な列をふるい分けし、文脈に応じた候補名を生成し、実行に基づくフィードバックによってそれらを検証し、非破壊的なSQLビューとして結果を具現化します。このパイプラインには2つの構造的性質があります。すなわち、検証フェーズにおける保守的な選択規則によって保証される「列ローカルの非劣化（column-local non-degradation）」と、ビューに基づく具現化フェーズによって保証される「データベースレベルでのクエリ同値性（database-level query equivalence）」です。これらにより、列レベルでは構成によって洗練結果が安全に保たれ、列間およびプロンプトレベルの相互作用は、解析的にではなく実験的に扱われます。制御されたスキーマ劣化、実世界、エンタープライズのベンチマークにおいて、EGRefineは適用可能な場合にスキーマ命名ノイズによって失われた精度を回復し、基盤となるタスクが現在のText-to-SQL能力を超える場合には正しく「差し控え（abstain）」します。さらに、洗練されたスキーマはモデルファミリー間で転移できるため、「一度だけ洗練して、多数のモデルで提供する（refine-once, serve-many-models）」運用が可能になります。コードとデータは https://github.com/ai-jiaqian/EGRefine で公開されています。