臨床EHRに組み込まれたAIエージェントのエンドツーエンド評価とガバナンス

要旨: 臨床AIシステムには、単なる時点における評価だけでなく、継続的なガバナンスが必要です。すなわち、導入期間を通じて性能を監視し、評価し、改善し、そして再評価し続けることです。私たちは、評価基準（ルーブリック）の検証、ライブの導入フィードバック、技術的な性能モニタリング、コスト追跡を統合し、導入前にシステム変更を制御付きの実験ゲーティングにより許可する、エンドツーエンドのガバナンス・フレームワークを提示します。これを、周囲の音声を構造化された診療記録（チャート）の更新へ変換するEHR組み込みエージェントであるHyperscribeに適用しました。20名の臨床医が、823件の事例を対象に1,646件の検証済みルーブリックを作成しました。制御付き実験により、7つのHyperscribeバージョンを評価し、中央値スコアは84%から95%へと改善しました。3か月間にわたる107件のライブ・フィードバック記録を分析したところ、エンジニアリングによる介入が障害を解消した結果、フィードバックの構成が「79%がエラー報告、14%が肯定的所見」から「30%がエラー、45%が肯定的所見」へと変化していました。音声セグメントあたりの中央値処理時間は8.1秒であり、再試行メカニズムが一時的なモデルの誤りを吸収したことで、再試行後の有効完了率は99.6%でした。これらの結果は、導入済みの臨床AIに対する継続的で多チャンネルなガバナンスが実現可能であり、かつ有効であることを示しています。