Multilingual KokoroChat: 多言語カウンセリング対話データセット作成のためのマルチLLMアンサンブル翻訳手法

Abstract

高品質で公開可能なカウンセリング対話データセットの重大な不足に対処するため、私たちは大規模に手作業で著された日本語のカウンセリング・コーパスであるKokoroChatを、英語および中国語の両方に翻訳することで、多言語対応のMultilingual KokoroChatを作成しました。このプロセスにおける重要な課題は、翻訳のための最適なモデルが入力によって異なるため、単一のモデルが一貫して最高品質を保証できないことです。カウンセリングという機微な領域では、可能な限りの翻訳忠実度が不可欠であるため、したがって単一のLLMに依存するだけでは不十分です。この課題を克服するため、私たちは新しいマルチLLMアンサンブル手法を開発し、これを用いました。私たちの手法はまず、複数の異なるLLMから多様な仮説を生成します。次に、単一のLLMが、提示されたすべての仮説のそれぞれの長所と短所の分析に基づいて、高品質な翻訳を生成します。\`\`Multilingual KokoroChat\`\`の品質は、人手による嗜好（好み）評価研究によって厳密に検証されました。これらの評価により、アンサンブル手法によって生成された翻訳が、任意の単一の最先端LLMによって生成された翻訳よりも好まれることが確認されました。この強い選好は、私たちの手法の出力がより優れていることを裏付けています。Multilingual KokoroChatは https://github.com/UEC-InabaLab/MultilingualKokoroChat で公開されています。