LLMエージェントは実世界エビデンスを生成できるか？医療データベースにおける観察研究の評価

要旨: 観察研究は、臨床的に実行可能なエビデンスを大規模に得られる可能性がありますが、それを実世界のデータベース上で実行することは終わりのない作業であり、コホート構築、分析、報告にまたがって首尾一貫した意思決定が必要です。これまでのLLMエージェントの評価は、単発の手順や単一の回答に重点を置いており、その結果得られるエビデンス・バンドルの完全性や内部構造を見落としていました。このギャップに対処するために、我々はRWE-benchを導入します。これはMIMIC-IVに基づき、査読済みの観察研究から派生したベンチマークです。各課題では、参照標準として対応する研究プロトコルを提示し、エージェントには実データベース上で実験を実行し、反復的に木構造化されたエビデンス・バンドルを生成することが求められます。 6つのLLM（オープンソース3つ、クローズドソース3つ）を、3つのエージェント・スキャフォールドの下で、質問レベルの正確さとエンドツーエンドのタスク指標の両方により評価します。162のタスクを通じて、タスク成功率は低く、最良のエージェントは39.9%にとどまり、最良のオープンソースモデルは30.4%でした。エージェント・スキャフォールドもまた、性能指標において30%以上の変動を引き起こすほど大きく影響します。さらに、誤りを迅速に局所化し、エージェントの失敗モードを特定するための自動化されたコホート評価手法を実装します。全体として、これらの結果は、エージェントがエンドツーエンドのエビデンス・バンドルを生成する能力における持続的な限界を示しており、効率的な検証は今後の重要な方向性であることが浮き彫りになりました。コードとデータは https://github.com/somewordstoolate/RWE-bench で利用可能です。