母体保健を支援するチャットボットの開発と評価

要旨: 電話ベースのチャットボットを用いて信頼性の高い母体保健情報を提供する能力は、特に健康リテラシーが低く、医療アクセスが限られている資源の乏しい地域で大きな影響を与える可能性があります。しかし、このようなシステムを展開することは技術的に挑戦的です。ユーザーの問い合わせは短く、十分に特定されておらず、言語をまたぐコード混在を含み、回答には地域固有の文脈に基づく根拠づけが必要で、症状の文脈が部分的または欠落していると安全なルーティング判断を下すのが難しくなります。
学術研究者、ヘルスケア技術企業、公衆衛生の非営利団体、および病院との連携によって、インドの母体保健向けチャットボットを開発しました。システムは (1) 段階認識を伴うトリアージで高リスクの問い合わせを専門家テンプレートへルーティング、(2) 整理された母体/新生児ガイドラインに基づくハイブリッド検索、(3) LLM からのエビデンス条件付き生成を組み合わせています。私たちの中核的な貢献は、限られた専門家監督の下での高リスク展開の評価ワークフローです。部品レベルとエンドツーエンドのテストの両方を対象に、以下を導入します: (i) ラベル付きトリアージのベンチマーク（N=150）で緊急リコール率86.7%を達成し、見逃し緊急と過度エスカレーションのトレードオフを明示的に報告; (ii) チャンクレベルのエビデンスラベルを備えた合成的なマルチエビデンス検索ベンチマーク（N=100）; (iii) 実データの問い合わせに対する臨床医設計の基準を用いた LLM の裁定者としての比較（N=781）; (iv) 専門家による検証。私たちの発見は、多言語でノイズの多い環境における信頼できる医療アシスタントは、多層防御設計と複数の評価手法による評価を組み合わせる必要があり、単一のモデルや評価手法の選択だけでは十分ではないことを示しています。