easyaligner：GPU加速付きのフォースドアライメントと柔軟なテキスト正規化（HF Hub上の全w2v2モデルに対応）

https://preview.redd.it/f4d5krhkjyvg1.png?width=1020&format=png&auto=webp&s=11310f377b22abbe3dd110cc7d362ba8aae35f8d

私は easyaligner を開発しました。これは、高性能で使いやすいことを目指した強制アラインメント（forced alignment）ライブラリです。

音声認識（speech-to-text）モデルの学習のために、音声とテキストの前処理を何十万時間も扱ってきた中で、利用可能なオープンソースの強制アラインメントライブラリには、便利機能がいくつか欠けていることが多いと感じました。私たちの用途では、とりわけツール側が次のことをできる必要がありました：

• 音声内の発話内容の全てがトランスクリプトでカバーされていないケースに対応する（関連する音声領域を自動検出することで対処）。
• アラインメント対象の音声セグメントの開始／終了部分に、いくらか無関係な発話が含まれているケースに対応する。
• 理想的には、チャンク分割を必要とせずに、長い音声とテキストのセグメントに対応する。
• 正規化後のテキストと元のテキストの対応付けを維持しつつ、より良いアラインメント品質のために正解テキストを正規化する。こうすることで、アラインメント後に元のテキストの書式を復元できる。

easyaligner は、これらのワークフロー改善をすべて強制アラインメント用ライブラリとしてまとめる試みです。

ドキュメントには、さまざまなアラインメントのシナリオのチュートリアルや、カスタムのテキスト処理の説明があります。アラインされた出力は、（文・段落など）任意の粒度でセグメント化でき、同時に元テキストの書式も保持されます。

強制アラインメントのバックエンドは、Pytorchの強制アラインメントAPIを用いており、ViterbiアルゴリズムをGPUベースで実装しています。これは高速でメモリ効率にも優れており、音声をチャンク分割する必要なく、1パスで何時間分もの音声／テキストを処理できます。私は、このAPIを適応して、Hugging Face Hub上の全てのwav2vec2からのエミッション抽出をサポートしました。HF Hub上に、当該言語を文字起こしできるw2v2モデルがある限り、任意の言語で音声とテキストを強制アラインできます。

easyaligner は、正解トランスクリプトからのアラインメントだけでなく、ASRモデルの出力からのアラインメントもサポートします。easyaligner がASR出力をアラインメントするバックエンドとして使われる例については、同伴ライブラリ easytranscriber をご覧ください。これは WhisperX と同じように動作しますが、ハードウェアに応じて 35%から102%速く文字起こしします。

ドキュメント： https://kb-labb.github.io/easyaligner/
Github上のソースコード（MITライセンス）： https://github.com/kb-labb/easyaligner