Fast and Faithful：長文ドキュメント検索拡張生成（RAG）システムに対するリアルタイム検証

要旨: 生成拡張（RAG: Retrieval-augmented generation）は、エンタープライズ検索や文書中心のアシスタントにおいてますます導入が進んでいます。そこでは、応答は長く複雑なソース資料に基づいている必要があります。実際には、生成された回答が取得した文書を忠実に反映しているかを検証することは困難です。大規模言語モデルは長いコンテキストをチェックできますが、対話的サービスでは速度とコストの面で遅すぎて非現実的です。一方、軽量な分類器は厳格なコンテキスト上限の範囲で動作するため、切り詰められたパッセージの外にある根拠を見落としがちです。私たちは、レイテンシ制約のもとで全文に基づく（full-document）根拠づけを可能にする、プロダクションRAGパイプラインに統合されたリアルタイム検証コンポーネントの設計を提示します。このシステムは最大32Kトークンまでの文書を処理し、ワークロードに応じて応答時間と検証のカバレッジのバランスを取るための適応的推論戦略を採用します。検証器をデプロイするために用いたアーキテクチャ上の判断、運用上のトレードオフ、評価手法について説明し、切り詰めた検証（truncated validation）と比べて、全文コンテキストによる検証が、裏付けのない応答の検出を大幅に改善することを示します。私たちの経験は、長いコンテキストの検証がいつ必要になるのか、チャンク（塊）ベースのチェックが実際の文書でなぜ失敗しやすいのか、そしてレイテンシ予算がモデル設計にどう影響するのかを明らかにします。これらの知見は、信頼性の高い大規模な生成拡張アプリケーションを構築する実務者に向けた実践的な指針を提供します。 （モデル、ベンチマーク、コード: https://huggingface.co/llm-semantic-router）