PAT-VCM: マシン向けビデオ符号化のためのプラグアンドプレイ補助トークン

Abstract

機械向けの既存の動画符号化は、多くの場合、特定の下流タスクとモデルに向けて学習されています。その結果、圧縮表現が最終タスクに強く結び付いてしまい、複数のタスクにまたがってスケールしたり、モデル更新に適応したりすることが難しくなります。私たちは、機械向け動画符号化のためのプラグアンドプレイ型の補助トークン枠組みであるPAT-VCMを提案します。PAT-VCMは、共有のベースライン圧縮ストリームを維持し、そこに軽量なタスク対応型の補助トークンを追加することで、各下流タスクが別々に各タスク用の符号化器を再学習することなく、必要な情報を回復できるようにします。この枠組みは、3種類の補助情報の形式をサポートします。すなわち、視覚的残差トークン、プロンプト/制御トークン、そしてセマンティックトークンです。私たちは、セグメンテーション、深度推定、セマンティック認識においてPAT-VCMを評価します。共有の検出志向型補助ブランチが再利用可能な最初の改良を提供し、タスク固有の視覚ブランチがセグメンテーションと深度を改善し、プロンプトトークンが、ビットレートのわずかな増加でさらなるセグメンテーション向上をもたらし、セマンティックトークンは、極めて低いオーバーヘッドで強い認識性能を達成します。これらの結果は、軽量なタスク対応型補助トークンと組み合わせた共有の圧縮表現が、タスクに強く結び付いたVCM設計の実用的でスケーラブルな代替案であることを示唆しています。