ESOM: オープンワールドの動的定義でストリーミング動画異常を効率的に理解する

要旨: オープンワールド・ビデオ異常検出（OWVAD）は、異常の定義が異なる状況下で異常な事象を検出し、それを説明することを目的とする。これは、知能監視やライブ配信コンテンツのモデレーションといった応用において重要である。近年、MLLM（マルチモーダル大規模言語モデル）ベースの手法がオープンワールドな一般化に関して有望な結果を示しているが、それでもなお、主に3つの重大な制約がある。実運用に向けた効率の不足、ストリーミング処理への適応の欠如、さらに、モデリングと評価の両方における動的な異常定義への限定的な対応である。これらの課題に対処するため、本論文では、学習不要（training-free）で動作する効率的なストリーミングOWVADモデルであるESOMを提案する。ESOMは、幻覚を低減するためにユーザープロンプトを構造化する「定義正規化（Definition Normalization）モジュール」、冗長な視覚トークンを圧縮する「フレーム間で一致し、フレーム内で統合する（Inter-frame-matched Intra-frame Token Merging）モジュール」、効率的な因果推論のための「ハイブリッド・ストリーミングメモリ（Hybrid Streaming Memory）モジュール」、および「確率的スコアリング（Probabilistic Scoring）モジュール」を含み、これにより区間レベルのテキスト出力をフレームレベルの異常スコアへ変換する。さらに本論文では、監視映像がクリーンであり、かつ多様な自然な異常定義を備えた新しいベンチマーク「OpenDef-Bench」を導入し、条件の変化のもとでの性能を評価する。大規模な実験の結果、ESOMは単一GPU上でリアルタイム効率を達成し、異常の時間的ローカライゼーション、分類、説明生成において最先端の性能を示す。コードとベンチマークは https://github.com/Kamino666/ESOM_OpenDef-Bench で公開予定である。