ForeSea：映像監視のためのマルチモーダル問い合わせによるAIフォレンジック検索

概要: 数十年にわたる取り組みにもかかわらず、監視は長時間のマルチカメラ動画において特定のターゲットを見つけることに依然として苦戦しています。従来の手法――トラッキング・パイプライン、CLIPに基づくモデル、VideoRAG――は、重い手作業によるフィルタリングを必要とし、浅い属性しか捉えられず、時間的推論に失敗します。実世界の捜索は本質的にマルチモーダルです（例：「この人物はいつ戦いに加わるのか？」という問いに、その人物の画像を添える）にもかかわらず、この設定は十分に研究されていません。さらに、そのような設定を評価するための適切なベンチマークが存在せず、マルチモーダルなクエリによる動画への問いかけを扱う必要があります。このギャップに対処するために、我々はForeSeaQAを導入します。ForeSeaQAは、画像とテキストのクエリ、および主要イベントのタイムスタンプ付き注釈を用いた動画QAのために特化して設計された新しいベンチマークです。データセットは、長期ホライズンの監視映像と、多様なマルチモーダルな質問を組み合わせたものから成り、現実的なフォレンジック条件下での、検索（リトリーバル）、時間的グラウンディング、マルチモーダル推論を体系的に評価できるようにします。このベンチマークに限定されず、3段階のプラグアンドプレイ型パイプラインを備えたAIフォレンジック検索システムであるForeSeaも提案します。（1）トラッキングモジュールが無関係な映像をフィルタリングします。（2）マルチモーダル埋め込みモジュールが残ったクリップをインデックス化します。（3）推論時には、システムがVideo Large Language Model（VideoLLM）向けに上位K個の候補クリップを取得し、クエリに答え、イベントをローカライズします。ForeSeaQAにおいて、ForeSeaは従来のVideoRAGモデルに対して、精度を3.5%向上させ、時間的IoUを11.0改善します。私たちの知る限り、ForeSeaQAは、精密な時間的グラウンディングを伴う複雑なマルチモーダル・クエリをサポートする最初のベンチマークであり、ForeSeaは、この設定で優れることを目的に構築された最初のVideoRAGシステムです。