DataSTORM：探索的データ分析とデータ・ストーリーテリングによる大規模データベースのための深層リサーチ

Abstract

大規模言語モデル（LLM）エージェントによるディープリサーチは、多段階の情報探索、統合、分析のための強力なパラダイムとして登場しつつあります。しかし、既存のアプローチは主に非構造化のウェブデータに焦点を当てている一方で、大規模な構造化データベースに対してディープリサーチを行う際の課題は、比較的十分に検討されていません。ウェブベースの調査とは異なり、データ中心の効果的な研究には、単なる取得（リトリーバル）と要約以上のものが必要であり、反復的な仮説生成、構造化スキーマに対する定量的推論、そして首尾一貫した分析的ナラティブへ収束することが求められます。 本論文では、DataSTORM を提案します。これは、LLMベースのエージェントシステムであり、大規模な構造化データベースとインターネットソースの両方にまたがって、自律的に研究を実行できます。探索的データ解析（Exploratory Data Analysis）とデータ・ストーリーテリング（Data Storytelling）の原理に基づき、DataSTORM は、構造化データに対するディープリサーチを、論文（テーゼ）主導の分析プロセスとして再定義します。すなわち、データから候補となるテーゼを発見し、それらを複数ソースにまたがる反復的な調査によって検証し、最終的にそれらを首尾一貫した分析的ナラティブへと発展させます。InsightBench において DataSTORM を評価したところ、インサイトレベルの再現（recall）で相対的に 19.4% の改善、要約レベルのスコアで 7.2% の改善を達成し、新たな最先端（state-of-the-art）の結果を得ました。さらに、実世界の複雑なデータベースである ACLED に基づいて構築した新しいデータセットを導入し、DataSTORM が、自動評価指標と人手評価の両方の観点で、ChatGPT Deep Research のような専用（プロプライエタリ）システムを上回ることを示します。