VeriLLMed：知識グラフを用いた医療用LLMのインタラクティブ可視デバッグ

要旨: 大規模言語モデル（LLM）は医療診断において有望であることが示されているが、現実の導入では、高リスクな臨床判断と推論の信頼性が不完全であることにより、依然として困難が残っている。そのため、診断推論が信頼でき、臨床的な根拠に基づいているかどうかを評価するには、モデル挙動の慎重な点検が不可欠である。しかし、医療用LLMのデバッグは依然として難しい。第一に、開発者はしばしば、臨床的に意味のある観点でモデルの誤りを解釈するのに十分な医学領域の専門知識を持っていない。第二に、モデルは、異なる入力タイプ、タスク、推論ステップを含む大規模かつ多様な多数のインスタンスにまたがって失敗し得るため、開発者がどの誤りを重点的に精査すべきかを優先順位付けすることが難しい。第三に、既存のデバッグ手法は主にインスタンス中心であり、孤立した失敗を手作業で点検することに依存しているため、開発者は症例間で繰り返し現れる誤りパターンを特定することに苦労する。これらの課題に対処するため、我々は外部の生物医学知識を統合して医療LLMの診断推論を監査・デバッグする可視化分析システム VeriLLMed を提案する。VeriLLMed は、モデルの出力を比較可能な推論経路へと変換し、知識グラフに基づく参照経路を構築し、診断エラーの3つの反復的なクラス（関係エラー、分岐エラー、見落としエラー）を特定する。ケーススタディと専門家評価により、VeriLLMed が、臨床的に妥当性の低い推論を開発者が見つけるのを支援し、医療LLMの改善に資する実行可能な洞察を生成できることが示される。