同期化されたオーディオ・ビジュアルのマルチビューキャプチャシステム

Abstract

マルチビュー撮像システムは、制御された条件下で人間の動作を記録するための研究において重要な手段である。既存の多くのシステムは映像ストリームを中心に設計されており、音声の取得や厳密な音声・映像アラインメントにほとんど、あるいはまったく対応していない。これは、会話的な相互作用の研究において、ターンテイキング、オーバーラップ、プロソディのレベルでのタイミングが重要であるにもかかわらずである。本技術レポートでは、このギャップを、同期した音声と同期した映像を一次の信号（first-class signals）として扱うことで埋める、オーディオ・ビジュアルのマルチビュー撮像システムについて述べる。このシステムは、統一されたタイミング・アーキテクチャのもとで、マルチカメラのパイプラインとマルチチャンネルのマイク録音を統合し、校正、取得、品質管理のための実用的なワークフローを提供する。これにより、スケールに応じた反復可能な記録が可能になる。運用時の同期性能を定量化し、その結果得られる記録が、会話行動の精緻な分析およびデータ駆動型モデル化を支えるのに十分な時間的一貫性を有していることを示す。