E-TIDE：イベント系列から高速かつ構造を維持するモーション予測を行う手法

Abstract

イベントベースカメラは、画素ごとの輝度変化を非同期ストリームとして捉え、スパースかつ時間的に高精度なデータを生成します。従来のフレームベースセンサと比較して、電力消費を大幅に抑えながら高速ダイナミクスを捉える点で大きな利点があります。過去の観測から将来のイベント表現を予測することは重要な課題であり、将来のセマンティックセグメンテーションやオブジェクト追跡などの下流タスクを、未来のセンサ計測にアクセスすることなく可能にします。近年の最先端アプローチは高い性能を達成していますが、多くの場合、計算負荷の大きいバックボーンに依存しており、場合によっては大規模な事前学習にも依存しているため、リソースが制約された状況での適用が制限されます。本研究では、大規模な事前学習を必要とせずに効率よく動作するよう設計した、イベントテンソル予測のための軽量でエンドツーエンド学習可能なアーキテクチャであるE-TIDEを提案します。我々の手法は、スパースなイベントテンソルに対する効率的な時空間インタラクション設計に動機づけられたTIDEモジュール（Temporal Interaction for Dynamic Events）を用い、大きなキーネルによる混合と、活動（アクティビティ）に応じたゲーティングによって時間的依存を捉えつつ、計算量の低さを維持します。標準的なイベントベースデータセットでの実験により、本手法はモデルサイズと学習要件を大幅に削減しながら、競争力のある性能を達成することが示されました。そのため、厳しいレイテンシとメモリ予算のもとでのリアルタイム実運用に適しています。