言語モデルへ構造化された生物医学知識を注入する：継続的事前学習 vs. GraphRAG

概要: ドメイン固有の知識を注入することは、言語モデル（LM）を生物医学のような専門分野へ適応させるうえで重要である。現在の多くの手法は非構造のテキストコーパスに依存しているが、本研究では、UMLSメタシソーラスから得られる構造化知識を活用するための、相補的な2つの戦略を検討する： (i) 継続事前学習により知識をモデルパラメータへ埋め込む方法、そして (ii) 推論時に知識グラフを参照するグラフ検索拡張生成（Graph Retrieval-Augmented Generation, GraphRAG）。まず、UMLSから大規模な生物医学知識グラフを構築する（340万コンセプトおよび3420万関係）。このグラフは効率的なクエリのためNeo4jに格納する。次に、このグラフから約1億トークンのテキストコーパスを生成し、それを用いて2つのモデルを継続的に事前学習する：BERTUMLS（BERTから）およびBioBERTUMLS（BioBERTから）である。これらのモデルを、5種類のタスクタイプにまたがる6つのBLURB（Biomedical Language Understanding and Reasoning Benchmark）データセットで評価し、さらに2つのQA（Question Answering）データセット（PubMedQA、BioASQ）に対してGraphRAGを評価する。BLURBのタスクでは、BERTUMLSはBERTより改善し、特に知識集約型QAで最大の向上が見られる。BioBERTに対する効果はより微妙で、基盤モデルがすでに相当量の生物医学テキスト知識をエンコードしている場合には、効果が逓減することを示唆している。最後に、LLaMA 3-8Bを本研究のGraphRAGパイプラインで拡張すると、再学習なしでPubMedQAで3ポイント超、BioASQで5ポイントの精度向上が得られる。これにより、透明性のあるマルチホップな知識アクセスと、容易な知識更新を実現する。再現性を支えるために、処理済みのUMLS Neo4jグラフを公開する。