Text-to-SQL のための構造化思考の連鎖を用いた知識蒸留
arXiv cs.CL / 2026/3/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- コスト・セキュリティ・パフォーマンスの観点からエンタープライズレベルでの Text-to-SQL 展開が直面する難題を論じ、高価な独自 LLM と低性能の SLM とのトレードオフを強調します。
- 構造化推論表現を正式な設計図としてクエリ実行計画から導出して、強力な LLM を模倣するよう SLM を訓練する知識蒸留フレームワーク Struct-SQL を提案します。
- 構造化 CoT を用いて蒸留した SLM は、非構造化 CoT 蒸留ベースラインに対して絶対的に 8.1% の改善を報告しており、Text-to-SQL における構造化推論の有効性を示しています。
- この利益の大きな要因は構文エラーの減少にあることが分かっており、構造化された論理的設計図を用いて推論するようモデルを訓練することが、SLM における SQL 生成の信頼性を向上させることを示唆しています。
企業レベルで正確な Text-to-SQL システムを展開するには、コスト・セキュリティ・パフォーマンスを含む難問であるトリレンマに直面します。現在のソリューションは、企業に高価な独自の大規模言語モデル（LLMs）と低性能の小規模言語モデル（SLMs）のどちらを選択させることを強いる。SLMs を改善する試みは多くの場合、大規模 LLM から推論を蒸留することに依存しており、非構造的な Chain-of-Thought（CoT）トレースを使用するが、このプロセスは本質的に曖昧さを残します。代わりに、正式で構造化された推論表現が、Text-to-SQL のタスクは明示的かつ正確な論理ステップを要求するため、より明確で信頼できる学習信号を提供する、と仮定します。この仮説を評価するために、Struct-SQL という新しい Knowledge Distillation（KD）フレームワークを提案します。これにより、SLM を強力な大規模 LLM を模倣するよう訓練します。したがって、構造化 CoT を用いて蒸留された我々の SLM を採用し、非構造化 CoT 蒸留ベースラインに対して絶対的な 8.1% の改善を達成します。詳細なエラー分析は、この改善の主要因が構文エラーの顕著な減少であることを示しています。これは、構造化された論理設計図を用いて推論するようモデルを教えることが、SLM における信頼性の高い SQL 生成に有益であることを示しています。
