RedParrot：セマンティックキャッシュでビジネス分析のNL-to-DSLを高速化

Abstract

近年、XiaohongshuにおいてECと広告の急速な拡大により、高い精度と低遅延を備えたリアルタイムのビジネス分析が強く求められています。この需要に応えるため、システムは一般に、意味の一貫性、検証、移植性を確保する目的で、自然言語（NL）クエリをドメイン固有言語（DSL）へ変換します。しかし、当該NLからDSLへのタスクに対する既存の多段階LLMパイプラインは、レイテンシが過度に大きく、コストも高く、さらに誤りの伝播が起きやすいため、企業規模での導入には不適です。本論文では、推論をセマンティックキャッシュによって加速する新しいNLからDSLへのフレームワークであるRedParrotを提案します。ユーザークエリには高い反復性と安定した構造パターンが見られることに着目し、RedParrotは、新しい要求をキャッシュ済みの「クエリ・スケルトン」（正規化された構造パターン）と照合し、それに対応するDSLを適応させることで、高コストなパイプラインを回避します。主な技術的貢献は、(1) オフラインでのスケルトン構築戦略、(2) 頑健なマッチングのためにコントラスト学習で訓練した、エンティティ非依存のオンライン埋め込みモデル、(3) 未知のエンティティを扱うために多様な知識ソースを統合するヘテロジニアス（異種混在）なRetrieval-Augmented Generation（RAG）手法、です。Xiaohongshuの実データセット6件での実験により、RedParrotは平均3.6倍の高速化と8.26%の精度向上を達成することが示されました。さらに、SpiderおよびBIRDから適応させた新しい公開ベンチマークでは、精度を34.8%向上させ、標準的なインコンテキスト学習のベースラインを大幅に上回ります。