ブラックボックスからグラスボックスへ：アンビエントAIサイバー（書記）における、クロスモデルASR不一致をPriotoレビューへ活用する方法に関するドキュメント

Abstract

周囲のAI「scribe」システムは、臨床の文書作成負担を軽減できることが期待されますが、自動音声認識（ASR）の誤りは、慎重な確認なしでは見過ごされる可能性があり、また、不確実性のキャリブレーションに用いる高品質な人手による参照書き起こしが利用できないことがしばしばあります。本研究では、異種のASRシステム間におけるモデル間の不一致が、医療書き起こしワークフローにおいて人による検証を優先するための、参照不要の不確実性シグナルとして機能し得るかを検討します。公開されている医療教育用の音声クリップ50本（8時間14分）を用い、各クリップを、商用APIとオープンソースのエンジンをまたぐ8つのASRシステムで書き起こしました。マルチモデルの出力をアラインし、コンセンサスの疑似参照を構築し、過半数の強度指標を用いてトークンレベルの一致度を定量化しました。さらに、不一致を種類（内容 vs. 句読点／書式）で特徴付けし、leave-one-model-out（ジャックナイフ）によるコンセンサススコアリングで、各モデルの一致度を評価しました。モデル間の信頼性は低く（ICC[2,1] = 0.131）、システム間で異質な失敗モードが示されました。評価された76,398トークン位置のうち、72.1%は（7〜8モデルが）ほぼ全員一致であり、一方2.5%は高リスク帯（0〜3モデル）に該当しました。高リスクの質量は、アクセント群によって0.7%から11.4%まで変動しました。一致度が低い領域は内容の不一致が多く含まれ、高リスク質量の5分位にわたって内容の割合は53.9%から73.9%へ増加しました。これらの結果は、モデル間の不一致が、参照の人手検証がない状況でも、潜在的に信頼できない書き起こし区間を顕在化させ得る、疎で局所化可能なシグナルを提供することを示唆します。これにより、レビューをターゲット化できます。ただし、フラグ付けされた領域の臨床的な正確さは、今後確立される必要があります。