BioHiCL：MeSHラベルによる階層的マルチラベルコントラスト学習を用いた生物医学検索

Abstract

効果的なバイオメディカル情報検索には、バイオメディカル文書間の領域セマンティクスと階層的関係をモデル化することが必要です。既存のバイオメディカル生成型リトリーバは、粗い2値の関連性シグナルに基づいており、セマンティックな重なりを捉える能力が制限されています。そこで我々は、BioHiCL（階層的マルチラベル対照学習によるバイオメディカル検索）を提案します。本手法は、階層的なMeSHアノテーションを活用して、マルチラベル対照学習のための構造化された教師信号を提供します。我々のモデルであるBioHiCL-Base（0.1B）およびBioHiCL-Large（0.3B）は、バイオメディカル検索、文の類似性、質問応答タスクにおいて有望な性能を達成しつつ、デプロイのための計算効率も維持しています。