イベントストリームからの動画異常検知に向けて：ベースラインとベンチマークデータセット

要旨: 冗長性が低く、動的な運動に焦点を当て、さらに本質的にプライバシーを保護する性質を備えるイベントベースのビジョンは、動画異常検出（VAD）の要求に自然に適合します。とはいえ、専用のイベントストリーム異常検出データセットや有効なモデリング戦略が欠如していることが、この分野の進展を大きく妨げてきました。本研究では、イベントベースVADを統一的な研究方向として確立するための、最初の大きな一歩を踏み出します。まず、映像異常検出のための複数のイベントストリームベースのベンチマークを構築し、同期したイベント記録とRGB記録を特徴として備えます。次に、イベントの特有の性質を活用して、EVent中心の時空間ビデオ異常検出フレームワーク、すなわちEWADを提案します。主な革新点は3つあります。すなわち、時間的に有益な区間を選択するためのイベント密度を意識した動的サンプリング戦略、疎なイベントストリームから文脈関係を捉える密度で変調された時間モデリング手法、そして弱い教師信号のもとでイベントベース表現を強化するRGBからイベントへの知識蒸留メカニズムです。3つのベンチマークに対する大規模な実験により、提案するEWADが既存手法に対して大幅な改善を達成することを示し、動画異常検出におけるイベント駆動型モデリングの可能性と有効性を浮き彫りにします。ベンチマークデータセットは公開されます。