TimeSeriesExamAgent：大規模に時系列推論ベンチマークを作成する

Abstract

大規模言語モデル（LLM）は時系列モデリングのタスクで有望な性能を示しているものの、果たして時系列データを本当に理解しているのでしょうか？この根本的な問いに答えるために複数のベンチマークが提案されてきましたが、その多くは人手で作成され、限定された領域や特定のスキルセットに焦点を当てています。そこで本研究では、テンプレートの柔軟性とLLMエージェントの創造性を組み合わせることで、包括的な時系列推論ベンチマークを作成するためのスケーラブルな手法を提案します。まず、合成時系列を用いた多肢選択式ベンチマークであるTimeSeriesExamを開発し、5つの中核となる推論カテゴリ（パターン認識、ノイズ理解、類似性分析、異常検知、因果性）にわたってLLMを評価します。次に、TimeSeriesExamAgentにより、医療、金融、天気の各ドメインにまたがる実世界のデータセットからベンチマークを自動的に生成することで、このアプローチをスケールします。多次元の品質評価を通じて、私たちが自動生成したベンチマークが、人手で作成された代替手法と同等の多様性を達成していることを示します。しかし実験の結果、LLMの性能は、抽象的な時系列推論とドメイン固有の応用の両方において依然として限定的であり、これらのモデルにおける効果的な時系列理解を可能にするための継続的な課題が浮き彫りになりました。TimeSeriesExamAgentは https://github.com/magwiazda/TimeSeriesExamAgent で利用可能です。