SEAR: LLMゲートウェイのためのスキーマベース評価とルーティング

要旨: LLMゲートウェイにおいて、プロダクション環境でのLLM応答の評価や、プロバイダ間でのルーティング要求の処理を行うには、きめ細かな品質シグナルと、運用に根ざした意思決定が必要です。このギャップに対処するため、我々はマルチモデル・マルチプロバイダのLLMゲートウェイ向けの、スキーマベースの評価およびルーティングシステムであるSEARを提示します。SEARは、LLM評価シグナル（コンテキスト、意図、応答特性、問題の帰属、品質スコア）と、ゲートウェイの運用メトリクス（レイテンシ、コスト、スループット）を両方カバーする拡張可能なリレーショナルスキーマを定義します。また、約100の型付きカラム（SQLで問い合わせ可能）にわたって、テーブル間の整合性リンクを備えます。評価シグナルを確実に生成するために、SEARは、自己完結型のシグナル指示、スキーマ内での推論、そしてデータベース投入に適した構造化出力を生成するマルチステージ生成を提案します。シグナルは浅い分類器ではなくLLMの推論により導出されるため、SEARは複雑な要求のセマンティクスを捉え、人が解釈可能なルーティングの説明を可能にし、評価とルーティングを単一のクエリ層に統合します。数千件のプロダクションセッションにわたって、SEARは人手でラベル付けされたデータに対して高いシグナル精度を達成し、同等の品質を維持しつつ大幅なコスト削減を含む実用的なルーティング判断を支援します。