医療クエリ回答システムにおけるスペル訂正:方法、検索への影響、および実証評価

arXiv cs.CL / 2026/3/23

💬 オピニオンIdeas & Deep AnalysisTools & Practical UsageModels & Research

要点

  • 医療クエリにはスペルミスが多く、61.5%が少なくとも1つのスペル誤りを含み、2つの公開データセット全体でトークンレベルの誤り率は11.0%である。
  • 本研究は、4つの訂正手法—保守的編集距離、標準的Levenshtein距離、文脈を考慮した候補ランキング、そしてSymSpell—を、BM25とTF-IDFを用いた3つの検索条件の下で比較し、TREC関連度判断を用いた1,935件のMedQuADパッセージを対象とした。
  • 結果は、クエリ側の訂正が最大の検索改善をもたらすことを示しており(MRR +9.2%、NDCG@10 +8.3%)、一方でコーパスのみを訂正しても改善は最小(+0.5%)にとどまり、クエリ訂正が最も重要な介入であることを強調している。
  • 本論文はエビデンスに基づく推奨事項を実務者へ提供し、手法別の訂正結果に関する100件のサンプル誤り分析を含む。

概要: 医療関連の質問応答(QA)システムは、検索対象の専門文書で見られるよりもはるかに高い割合で綴りの誤りを含むクエリを受け付けるという、持続的な課題に直面しています。本論文は、実世界の消費者クエリを用いた医療QAにおける検索前処理ステップとしての綴り訂正の初の統制研究を提示します。私たちは、次の2つの公開データセットにわたってエラー調査を実施しました -- TREC 2017 LiveQA Medical トラック(104 件の消費者向け健康質問)と HealthSearchQA(Google のオートコンプリートからの 4,436 件の健康クエリ) -- 実際の医療クエリの 61.5% が少なくとも1つの綴り誤りを含み、トークンレベルの誤り率が 11.0% であることを明らかにしました。私たちは、4つの訂正手法 -- 保守的編集距離、標準編集距離(Levenshtein)、文脈認識候補ランク付け、および SymSpell -- を、3つの実験条件で評価します:未訂正のクエリと未訂正コーパス(ベースライン)、未訂正クエリと訂正済みコーパス、そして完全に訂正済みクエリと訂正済みコーパス。BM25 および TF-IDF コサイン検索を、TREC の関連性判断を持つ 1,935 件の MedQuAD 回答パッセージ上で用いると、クエリ訂正が検索性能を大幅に向上させることが分かりました -- 編集距離と文脈認識訂正は、未訂正ベースラインに対して MRR を +9.2%、NDCG@10 を +8.3% 向上させます。重要なのは、クエリを訂正せずコーパスのみを訂正した場合、改善は最小限にとどまり(+0.5% の MRR)、クエリ側の訂正が鍵となる介入であることを確認しています。これらの結果を、各手法ごとの訂正結果を分類した100件のサンプルエラー分析とともに補完し、実務者へのエビデンスベースの推奨を提供します。

医療クエリ回答システムにおけるスペル訂正:方法、検索への影響、および実証評価 | AI Navigate