EvoSchema: スキーマ進化に対するテキスト-to-SQLの堅牢性を目指して
arXiv cs.CL / 2026/3/12
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- EvoSchemaは、現実世界のスキーマ進化下でのテキスト-to-SQLの堅牢性を評価するため、列レベルと表レベルの変更の両方を対象とする10タイプの分類法を備えた、包括的なベンチマークを導入します。
- 本研究は、表レベルの摂動が、複数のオープンソースおよびクローズドソースのLLMにおいて、列レベルの変更よりもパフォーマンスに大きな影響を与えることを示しています。
- EvoSchemaの多様な摂動スキーマで訓練されたモデルは、同じ質問に対してスキーマ差を識別する能力を高め、偽のパターンへの依存を減らし、平均して堅牢性を向上させます。
- このベンチマークは、動的で現実世界の環境でより良い性能を発揮するための、モデル訓練およびデータベース設計に関する実践的な洞察を提供します。
