金融レポートにおける単一および複数のテーブル間での文書レベル数値推論

要旨: 大規模言語モデル（LLM）の強力な言語理解能力にもかかわらず、特に数値推論において、長く構造化された文書に対する信頼性の高い質問応答（QA）は依然として難しい。金融の年次報告書はこの困難さを象徴している。財務諸表の分析はしばしば正確な算術に依存しており、アナリストは複数の表と叙述的なテキストに散在する証拠を統合することで主要指標を導き出す。しかし、既存のベンチマークは主に単一テーブルの設定に焦点を当てているため、表をまたぐ文書レベルの数値推論は十分に調査されていない。そこで本研究では、長文コンテキストのレポートにおける単一テーブルおよびクロステーブルの金融数値推論のためのデータセットであるFinLongDocQAを導入する。FinLongDocQAに対してクローズドソースおよびオープンソースの両方のLLMを評価した結果、2つのボトルネックが明らかになった。(1) 年次報告書はしばしば129kトークンを超え、関連する表を見つけるためのコンテキスト腐敗問題を悪化させる。(2) 関連する証拠が見つかった場合でも、LLMは多段階の数値推論において誤りを起こしやすい。我々は、証拠を反復的に検索し、中間計算を行い、ラウンドごとに結果を検証する、マルチエージェント・マルチラウンドの検索強化生成（RAG）アプローチであるFinLongDocAgentを提案する。実験により、長い金融文書における信頼性の高い数値QAには、反復的な検索と検証が重要であることが示される。