金融アプリケーション向け 時系列拡張ジェネレーション

Abstract

複雑で定量的な金融タスクに対する大規模言語モデル（LLM）の推論能力を評価することは、重要であり、かつ未解決の課題です。標準的なベンチマークでは、多くの場合、エージェントの中核的能力である「問いを読み解き、計算をオーケストレーションする」力を適切に切り分けられません。これに対処するため、金融の時系列分析におけるLLMエージェントの推論を厳密に測定する、新しい評価手法とベンチマークを提案します。我々は、この手法を、フレームワークであるTime Series Augmented Generation（TSAG）を用いた大規模な実証研究で適用しました。そこでは、LLMエージェントが、検証可能な外部ツールへ定量タスクを委任します。我々のベンチマークは100問の金融に関する問いからなり、複数の最先端（SOTA）エージェント（例：GPT-4o、Llama 3、Qwen2）を、ツール選択の精度、忠実性、そして幻覚（ハルシネーション）を評価する指標によって比較するために用いられます。その結果、能力の高いエージェントは、最小限の幻覚でほぼ完全なツール利用精度を達成できることが示され、ツール拡張パラダイムが裏付けられました。主要な貢献は、この評価フレームワークと、エージェント性能に関する対応する実証的知見です。これらを公開し、信頼できる金融AIに関する標準化された研究を促進します。