グローバルな動画コンテキストを用いたビデオ誘導型機械翻訳

Abstract

動画ガイド付きマルチモーダル翻訳（VMT）は、近年大きく進展してきました。しかし、既存の多くの手法は、字幕と1対1に対応するようにローカルに整合された動画セグメントに依存しているため、長い動画の複数セグメントにまたがるグローバルな物語文脈を捉える能力が制限されています。この制約を克服するために、本研究では、事前学習済みの意味エンコーダと、ベクタデータベースに基づく字幕検索を活用して、対象字幕の意味論に密接に関連する動画セグメントの文脈集合（context set）を構築する、グローバル動画ガイド付きマルチモーダル翻訳フレームワークを提案します。注目機構（attention mechanism）を用いて、関連性の高い視覚コンテンツに焦点を当てつつ、残りの動画特徴は保持することで、より広範な文脈情報を維持します。さらに、翻訳中の意味整合性を高めるために、領域認識型クロスモーダル注目機構（region-aware cross-modal attention mechanism）を設計します。大規模なドキュメンタリー翻訳データセットでの実験により、提案手法がベースラインモデルを大幅に上回り、長尺動画のシナリオにおいて有効であることが示されました。