波形の文法: ニューロ-シンボリックVLMエージェントによる説明可能な多変量時系列イベント検出へ

概要: 時系列イベント検出（TSED）は、長い間、多くの高リスク領域で重要な課題であり続けてきました。統計的異常とは異なり、イベントは意味論によって定義され、複雑な内部構造を持ちます。現実世界のデータでラベル付きデータが乏しい状況下で、誘導的に学習することは困難です。この点を踏まえ、Knowledge-Guided TSED を導入します。ここでは、モデルに自然言語のイベント記述が与えられ、訓練データがほとんどない、あるいは全くない状態で、それを多変量信号の区間へ grounding する必要があります。これに取り組むため、イベントの内在する時間論理構造をモデル化することで、言語的記述と物理的な時系列データを橋渡しする新しい知識表現フレームワークとして、ELT（Event Logic Tree）を導入します。ELT に基づき、信号の視覚化からプリミティブを反復的に実例化し、それらを ELT 制約の下で組み合わせるニューロ-シンボリック VLM エージェント・フレームワークを提示します。これにより、検出された区間と実例化された木の形として忠実な説明の両方を生成します。私たちのアプローチの有効性を検証するため、専門家の知識とアノテーションを含む実世界の時系列データに基づくベンチマークを公開します。実験と人間の評価は、教師ありのファインチューニングのベースラインおよび既存のゼロショット時系列推論フレームワーク（LLMs/VLMs に基づく）より私たちの手法が優れていることを示しています。さらに、ELT が、信号の形状とイベント意味論のマッチングにおける VLM の固有のハルシネーションを緩和するうえで重要であることも示しています。