Abstract
現代のテキストからSQLへのシステムは、複数の候補SQLクエリを生成し、それらをランク付けして最終予測を判断します。しかし、既存手法には2つの制限があります。第一に、同一の実行結果にもかかわらず、機能的に同等なSQLクエリを一貫性なくスコアリングしてしまうことが多い点です。第二に、正しいSQLが候補プールに存在しない場合、ランキングではそれを復元できない点です。私たちは、両方の課題に対処するText-to-SQLフレームワークであるR^3-SQLを提案します。R^3-SQLは、ランキングのための統一的な報酬と、リサンプリングによってこれらの問題を解決します。R^3-SQLはまず、実行結果に基づいて候補をグループ化し、グループ同士を一貫性のためにランク付けします。各グループのスコア付けでは、グループ間のペアワイズ嗜好に加えて、最良グループのランクとサイズから得られるポイントワイズの有用性を組み合わせます。これにより、相対的な嗜好、一貫性、そして候補の品質を捉えます。候補のリコールを改善するために、R^3-SQLはエージェント的なリサンプリングを導入します。これは生成された候補プールを評価し、正しいSQLが存在しない可能性が高い場合に選択的にリサンプリングを行います。R^3-SQLは、開示されたモデルサイズを用いる手法群の新たな最先端として、BIRD-devで実行精度75.03を達成し、5つのベンチマークすべてで一貫した改善が得られています。
