「コンテキストは決して十分に長くない」：長大な文書集合に対するスケーラブルな質問応答のための構造化推論

要旨: 現実世界の文書質問応答は困難です。アナリストは、複数の文書にまたがる証拠を、さらに各文書の異なる部分から統合しなければなりません。しかし、文書コレクションが成長するにつれて、固定されたあらゆるLLMのコンテキストウィンドウを超えてしまう可能性があります。一般的な回避策は、文書をチャンクに分解し、チャンク単位の出力から回答を組み立てることですが、これは集約のボトルネックを導入します。チャンク数が増えるほど、システムは抽出された証拠のますます大きな集合を組み合わせ、そこから推論しなければならなくなります。我々は、構造化された推論によって長い文書コレクションに対する質問応答を行うための枠組みであるSLIDERSを提示します。SLIDERSは、関連性の高い情報をリレーショナルデータベースへ抽出し、連結されたテキストではなくSQLによって、永続的な構造化状態に対してスケーラブルに推論できるようにします。ローカルに抽出されたこの表現をグローバルに一貫したものにするために、SLIDERSはデータ整合（reconciliation）段階を導入します。この段階では、プロベナンス（出所）、抽出の根拠、メタデータを活用して、重複した、不整合な、または不完全な記録を検出し、修復します。SLIDERSは、既存の3つの長文脈ベンチマークにおいて、すべてのベースラインが強力なベースLLMのコンテキストウィンドウ内に収まるにもかかわらず、平均でGPT-4.1を6.6ポイント上回って最高性能を示します。また、次に最良のベースラインに対して、3.9Mおよび36Mトークンの2つの新しいベンチマークでそれぞれ約19ポイントおよび約32ポイント改善します。