ハイブリッドデータレイクにおけるマルチモーダル・マルチホップ質問応答のためのエージェント性を備えた DAGオーケストレーション・プランナーフレームワーク

要約: 企業は、構造化された表と非構造化文書を組み合わせたハイブリッドデータレイクに対する自然言語（NL）質問応答をますます必要としています。現在展開されているソリューションは、RAGベースのシステムを含め、多くの場合、各ストアからの総当たり検索と事後マージに依存します。このようなアプローチは非効率で情報漏えいの可能性があり、さらに重大なのは、多段推論（マルチホップ推論）を明示的にサポートしていない点です。クエリは構造化ソースと非構造化ソースの間を前後に横断する連続するステップ（ホップ）へと分解されます。私たちは、Agentic DAG-Orchestrated Transformer (A.DOT) Planner を提示します。これは、マルチモーダル・マルチホップ質問応答のフレームワークで、ユーザーのNLクエリを、構造化ストアと非構造化ストアの両方にわたる有向非巡回グラフ（DAG）実行計画へとコンパイルします。システムは、クエリを並列実行可能なサブクエリへ分解し、スキーマを意識した推論を組み込み、実行前に構造的検証と意味的検証の双方を適用します。実行エンジンは、生成されたDAG計画に従い、異種のソース間で同時取得を調整し、中間出力を依存サブクエリへルーティングし、計画の論理的依存関係に厳密に従って最終結果を結合します。パラフレーズ対応テンプレートマッチングを取り入れた高度なキャッシュ機構により、同等のクエリを検出して以前のDAG実行計画を再利用し、迅速な再実行を可能にします。一方、DataOpsシステムは検証フィードバックや実行エラーに対処します。提案されたフレームワークは、精度とレイテンシの改善だけでなく、取得した内容の検証を可能にする明示的なエビデンスの痕跡を生成し、データの系統追跡をたどることを可能にし、システムの出力に対するユーザーの信頼を醸成します。ベンチマークデータセットでは、A.DOTはベースラインより正確性で14.8%、完全性で10.7%の改善を達成します。