TaigiSpeech：低リソースな実環境向け音声インテント・データセットと、大規模データマイニングによる予備結果（In-the-Wild）

Abstract

音声技術は急速に進歩し、世界中の多様な人々に役立っています。しかし、多くの言語は限られた資源のため、十分に代表されていないままです。本論文では、主に話される低資源言語である台湾タギ（別名：台湾ホッキエン／福建南方語）における、実世界の音声意図データセットである\textbf{TaigiSpeech}を紹介します。このデータセットは高齢者から収集されており、合計21話者、3k（約3,000）の発話で構成されています。医療やホームアシスタントのような実用的な意図検出シナリオを目的としています。ラベル付きデータの不足に対処するため、2つの監督レベルを伴う2つのデータマイニング戦略を検討します。具体的には、中間言語を介したLLMによる疑似ラベル付けを用いる「キーワード一致データマイニング」と、最小限のテキストによる監督でマルチモーダルな手がかりを活用する「音声・映像（audio-visual）フレームワーク」です。この設計により、低資源で、かつ文字として書かれていない話し言葉のためのデータセット構築をスケール可能にします。TaigiSpeechは、低資源で未文字化の言語に関する幅広い採用と研究を促進するため、CC BY 4.0ライセンスのもとで公開されます。プロジェクトのウェブサイトとデータセットは https://kwchang.org/taigispeech にあります。