医療の多肢選択式問題へのLLM適用におけるドメイン・ファインチューニングとRAGの比較：4Bパラメータ規模での統制実験

Abstract

医療の質問応答に小規模なオープンウェイトの大規模言語モデル（LLM）を導入する実務者は、繰り返し発生する設計上の選択に直面します。すなわち、ドメインで微調整したモデルに投資するのか、それとも汎用モデルを維持し、推論時に取得拡張生成（RAG）を通じてドメイン知識を注入するのか、という選択です。本研究では、モデルサイズ、プロンプトテンプレート、デコーディング温度、取得パイプライン、評価プロトコルを固定し、（i）モデルがドメイン適応されているかどうか（Gemma 3 4B vs. MedGemma 4B。いずれも4ビット量子化し、Ollama経由で提供）と、（ii）医療知識コーパスから取得した文がプロンプトに挿入されるかどうか、の2点のみを変えることで、このトレードオフを切り分けます。2×2の設計の4つの条件すべてを、MedQA-USMLEの4択テスト分割全体（1,273問）で評価し、各質問につき3回の繰り返しを行います（合計15,276回のLLM呼び出し）。ドメインでの微調整は、一般的な4Bベースラインに対して多数決精度で +6.8 パーセントポイントの向上をもたらします（53.3% vs. 46.4%、McNemar p < 10^-4）。MedMCQAの説明に対するRAGは、いずれのモデルでも統計的に有意な改善を生みません。また、ドメイン微調整モデルでは、点推定はわずかに負です（-1.9 pp、p = 0.16）。この規模・このベンチマークにおいては、重みに符号化されたドメイン知識が、文脈として与えられるドメイン知識を支配します。我々は、再現を可能にするために、実験の完全なコードとJSONLトレースを公開します。