Day 27:GPT-4が『アムリタヴァティ』を本物の薬だと幻覚したことが、インド向けヘルスAI開発に教えてくれたこと

Dev.to / 2026/5/16

💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisTools & Practical Usage

要点

  • GPT-4が「Amritavati」を実在の薬として高い自信で幻覚したことが示され、ヘルスAIでは誤りが非常に危険になり得ると強調されている。
  • 著者は、インド向けのヘルスAI開発は多言語対応(翻訳)を超え、22以上のインド諸語において症状や文化的文脈を文脈ごと失わないAIが必要だと述べている。
  • 英語中心のデータで学習したLLMが、地域固有の伝統知識の「穴」をもっともらしい作り話で埋めてしまうリスクが大きな課題だと指摘している。
  • GoDavaiiは、医療従事者とアーユルヴェーダの専門家が作成した専用ナレッジグラフに加え、微調整したモデルとクロス検証レイヤーを組み合わせ、アロパシーとアーユルヴェーダの処方を互いに照合する仕組みを採用している。
  • 著者は「安全第一」の設計思想を強調し、家族が医師に投げるべき質問をより鋭くすることや、忙しい診療で見落とされがちな現代医療×伝統の相互作用を見つける役割として製品を位置づけている。

GPT-4は昨日、『Amritavati』を実在する薬だと幻覚(ハルシネーション)しました。自信満々に。間違い。危険です。

ヘルスケアのプラットフォームにとって、これは笑えるバグではありません。だからこそ、インド向けのヘルスAIを作ることは、翻訳の仕事では済まないのです。

GoDavaiiを作り始めて27日目。私たちはAI検証済みのDesi Ilaaj(在来の治療法)機能を深く掘り下げています――家庭でできる療法をAI時代へ、そして安全性の観点でクロス検証。つまり、最前線のモデル制約に正面から取り組むことです。

言語の壁:翻訳の先へ

22以上のインド諸言語は、単なるUIの仕事ではありません。健康に関する概念がどう表現されるか、症状がどう記述されるか、療法がどう理解されるか――それらに直結しています。例えば、タミル語で「tabiyat theek nahi」(「気分がよくない」という口語)と入力するユーザーには、文脈を失わずに基となる症状を読み取れるAIが必要です。私たちのAI Health Chatは、こうしたニュアンスを解析しなければなりません。

本当の難しさは、文化的な知識レイヤーです。Desi Ilaajは、均一に体系化されているわけではありません。英語のインターネットデータで学習したLLMは、地域固有の伝統的な質問に直面すると、埋め合わせのようにもっともらしい“創作”でギャップを埋めてしまいます。『Amritavati』はまさにそれ――自信満々の幻覚でした。

私たちのアプローチは、専用のナレッジグラフに加えて、汎用LLM推論を超える検証レイヤーを用いることです。

クロス検証:アロパシーとアーユルヴェーダの出会い

GoDavaiiの中核となる強みは、アロパシーとアーユルヴェーダの療法を相互にクロス検証することです。自分たちの体系の中だけではなく、互いの体系に対して照合します。ある伝統での一般的な解熱薬が、別の伝統の処方と相互作用する可能性もあります。ローカル言語で、これを大規模に実施しているグローバル競合はどこにもいません。

これはアーキテクチャ上の問題です。私たちは微調整モデル(要約や言語タスクにはGemini 2.5 Flash)に加え、医療従事者とアーユルヴェーダの専門家が構築した独自のナレッジグラフを使います。ユーザーがDesi Ilaajについて質問してきたら、まずは検証済みのデータベースを確認します。その後に一般モデルを照会し、幻覚や確信度の低い出力を検知するための厳格なガードレールを適用します。『Amritavati』はこのプロセスで見つかりました。

安全性を最優先に作る

Startup Flight VietnamでのTop 14 Global Finalistに選ばれたことで注目されましたが、根本的なフィードバックは常に、私たち固有のインド向け課題へと立ち返ります。オンラインに来る人たちは英語が前提ではありません。食事、環境、伝統的な実践、言語に即した健康上の質問をしてくるでしょう。これは単なるアクセシビリティではなく、安全です。信頼できるAIインターフェースにおける誤った健康情報は危険です。

GoDavaiiは家族のための「質問づくり」です。次の受診の前に、もう一度確認する仕組み。医師に投げるための、より鋭い質問を引き出す方法。忙しいクリニックでの診察では見落とされがちな点――とりわけ現代医学と伝統的実践の相互作用――を拾い上げるものです。

では、あなたはインドで「英語のみのAI」が最も苦手だと思う健康関連の質問は何でしょう?コメントで教えてください。

GoDavaiiをgodavaii.comで試してみてください