マルチストリーム変分オートエンコーダにおけるソースの分離

Abstract

分離表現学習の問題に対処するための主要なアプローチの1つとして、変分オートエンコーダ（VAE）が挙げられます。通常は単一のVAEが用いられ、その単一の連続潜在空間の中で分離表現が求められます。本論文では、離散潜在と連続潜在を組み合わせることで、源（ソース）の分離を達成する新しいマルチストリーム変分オートエンコーダ（MS-VAE）を提案し、概念実証を提示します。離散潜在は、MS-VAEデコーダの一部として複数の源を重ね合わせる、明示的な源の組合せモデルで用いられます。MS-VAEの手法を形式的に定義し、その推論および学習の方程式を導出し、原理に基づく機能性を数値的に調査します。MS-VAEモデルは非常に柔軟で、少ない教師信号で学習可能です（いくつかのラベルで前学習した後は、完全に教師なし学習を用います）。数値実験では、MS-VAEアプローチが、重ね合わせられた手書き数字および音源の両方を分離する能力を検討しました。前者の課題では、重ね合わせたMNIST数字（ますます一般的になっているベンチマーク）を用いました。音の分離については、2人の話者がいる会話録音における話者ダイアライゼーションの課題に焦点を当てました。いずれの場合も、学習後に源の明確な分離と競争力のある性能が観察されます。数字の重ね合わせでは、複雑な混合（たとえば3つや4つの数字）において特に性能が競争的です。話者ダイアライゼーション課題では、見逃した話者の割合が特に低く、話者の割り当てがより正確であることを観察します。数値実験により、教師信号の量が異なる場合でも本アプローチの柔軟性が確認されました。また、たとえば前学習にラベルの10%だけを用いた場合でも、高い性能が得られることを観察しました。