FollowTable：指示に従うテーブル検索のためのベンチマーク

Abstract

テーブル検索（TR）は従来、関連性が主としてトピックの意味的類似性によって決まる、場当たり的な検索問題として定式化されてきました。しかし、LLMベースのエージェント型システムの採用が進むにつれ、構造化データへのアクセスは、トピック類似性だけでなく、明示的な内容やスキーマ制約に応じて関連性が決まる「指示主導」になりつつあります。そこで本研究では、トピックの関連性ときめ細かな指示制約を同時に満たすことを求める、新しいタスクである Instruction-Following Table Retrieval（IFTR）を定式化します。IFTRにおける2つの主要な課題を特定します：（i）包含・除外といったコンテンツ範囲に対する感度、（ii）列の意味や表現の粒度といった、スキーマに基づく要求への理解です。これらの能力は、既存の検索器にはほとんど欠けています。体系的な評価を支援するために、タクソノミー駆動のアノテーションパイプラインにより構築された、IFTRのための最初の大規模ベンチマークである FollowTable を導入します。さらに、トピックのみのベースラインに対して、ユーザの指示に応じて検索ランキングが一貫して適応しているかどうかを評価する新しい指標として、Instruction Responsiveness Score（指示応答スコア）を提案します。結果は、既存の検索モデルが表形式データに対するきめ細かな指示に従うのが難しいことを示しています。具体的には、表層レベルの意味的手がかりに対して系統的なバイアスを示し、スキーマに基づく制約の扱いが限定的であるため、今後の大きな改善の余地があることが明らかになりました。