合成からネイティブへ：物流のカスタマーサービスにおける多言語意図分類のベンチマーク

要旨: 多言語の意図分類は、グローバルな物流プラットフォームにおける顧客サービス・システムの中核であり、モデルは言語をまたいだノイズのあるユーザー問い合わせや階層的なラベル空間を処理する必要があります。しかし、既存の多くの多言語ベンチマークは機械翻訳されたテキストに依存しており、これは通常、ネイティブの顧客要望よりもクリーンで標準化されているため、実環境における頑健性を過大評価してしまう可能性があります。私たちは、実際の物流の顧客サービスログから構築した階層的多言語意図分類の公開ベンチマークを提示します。本データセットには、約30K件の匿名化済みの単独ユーザー問い合わせが含まれており、600K件の過去記録から、フィルタリング、LLM支援による品質管理、人手による検証を通じて厳選されています。また、13の親意図と17のリーフ意図から成る2階層タクソノミーとして整理されています。対応言語として、英語・スペイン語・アラビア語が「見かけ上の言語」として含まれ、一方でインドネシア語・中国語・追加のテスト専用言語がゼロショット評価を支えるように用意されています。合成評価と実データ評価のギャップを直接測定するために、ネイティブ版と機械翻訳版のペアとなるテストセットを提供し、フラットおよび階層プロトコルのもとで、多言語エンコーダ、埋め込みモデル、ならびに小規模言語モデルをベンチマークします。その結果、翻訳されたテストセットは、ノイズのあるネイティブな問い合わせに対して、特にロングテール意図やクロスリンガル転移の領域で大幅に性能を過大評価することが示されました。これは、より現実的な多言語意図ベンチマークの必要性を強調しています。