JFinTEB：日本語金融テキスト埋め込みベンチマーク

概要: 本論文では、日本語の金融テキスト埋め込みを評価するために特化して設計された、最初の包括的ベンチマークであるJFinTEBを導入します。既存の埋め込みベンチマークは、日本語の金融テキストに見られる言語固有およびドメイン固有の側面に対するカバレッジが限定的です。提案するベンチマークは、実際的で明確に定義された金融テキスト処理のシナリオを反映する、検索タスクや分類タスクを含む多様なタスクカテゴリで構成されています。検索タスクでは、指示追従型データセットと金融テキスト生成のクエリを活用します。一方、分類タスクでは、経済調査データから導出された感情分析、文書のカテゴリ分類、およびドメイン固有の分類課題を扱います。多種多様な埋め込みモデルに対して、幅広い大規模・小規模の日本語特化モデル、多言語モデル、そして商用の埋め込みサービスを含む、広範な評価を実施します。JFinTEBのデータセットおよび評価フレームワークは https://github.com/retarfi/JFinTEB にて公開し、将来の研究を促進するとともに、日本語の金融テキストマイニングコミュニティに対する標準化された評価プロトコルを提供します。本研究は、日本語の金融テキスト処理における重要な不足領域に取り組み、ドメイン固有の埋め込み研究を発展させるための基盤を確立するものです。